金融数据科学导论（Introduction to Financial Data Science）

本节先讲金融数据科学（financial data science）如何利用大数据（big data）：大数据的类型、来源和特征，以及数据怎样处理、怎样可视化。然后讲数据挖掘（data mining）和机器学习（machine learning, ML）（监督、无监督和强化三类）、过拟合（overfitting）与欠拟合（underfitting）、训练集、验证集和测试集的划分、神经网络（neural networks），以及自然语言处理（natural language processing, NLP）和大语言模型（large language models, LLMs）。

LOS 11.a — 金融领域的大数据、机器学习和人工智能（artificial intelligence, AI）

金融数据科学用来做什么

金融数据科学同时运用定量分析和定性分析，对某个具体的金融问题得出洞见，例如客户怎样行事、市场价格下一步可能往哪里走。它在金融中的主要用途包括：（1）评估投资机会；（2）优化投资组合；（3）缓释风险。**金融科技（fintech）**是金融与技术的交汇。投资管理最关心的是有助于定量分析的金融科技进展。这个词也有更宽的用法，泛指应用于金融服务的技术进展，以及开发这些技术的公司。

目标是洞见本身。数据质量方面的工作（见下文大数据的特征和数据整理）服务于这个目标，但它本身不是目标。

大数据：类型和来源

大数据是一个宽泛的说法，指所有正在产生、可能有用的信息。按格式分为：

数据来自传统数据源（traditional sources）（市场、公司财务报告、监管申报文件、政府统计），或来自**另类数据（alternative data）**来源：

• 个人：社交媒体（social media）活动、点击、搜索、网页停留时间（大多是非结构化数据，增长很快）。
• 业务流程（business processes）：交易记录和公司记录，如销售数据或银行记录（通常是结构化的）。它们可以充当领先指标或实时指标，而季报给出的是滞后的情况。
• 传感器（sensors）：智能手机、联网汽车、智能建筑、卫星。这些设备组成的网络就是物联网（Internet of Things, IoT）；它产生的数据量（volume）最大，大多是非结构化的。

购买另类数据，或用网页抓取（web scraping）（从网站自动提取数据）来收集，会带来法律和道德问题：抓到的部分内容可能是受隐私规则保护的个人信息。

大数据的几个"V"

太字节是 1,000 吉字节，拍字节是 1,000 太字节。数据来得越快，数据量就越大：从批量收集（兆字节级），到定期收集（吉字节级），再到近实时（太字节级）和实时数据流（拍字节级），数据量逐级上升。结构越复杂，需要的存储空间也越多。

前三个是经典的 3 Vs（数据量、数据速度、多样性）；真实性（veracity）是第四个 V，对金融数据尤其重要。数据质量还有其他问题：异常值（outliers）、错误或缺失数据、抽样偏差，以及收集的数据量对预定用途是否充足、是否合适。

数据科学：处理与可视化

**数据科学（data science）**研究如何从大数据中提取信息。它的处理方法有：

**数据湖（data lake）**是一个集中的存储库，以原始格式保存结构化、半结构化和非结构化数据（unstructured data）。**分布式计算框架（distributed computing frameworks）**让数据可以在多台机器上同时处理和分析。

可视化（visualization）：结构化数据适合用图表；结构化程度较低的数据要用词云（word clouds）（显示各个词在文本样本（sample）中出现的频率）、热力图（heat maps）、3D 图形和思维导图（mind maps）（显示概念之间的逻辑关系）。

常见的输入包括股价和成交量、资产收益率、利率、汇率（exchange rates）、会计数据和宏观经济序列。这项工作既要懂数据处理，也要懂金融，才能理解输入和输出。很多数据是按顺序排列、随时间变化的，有时还有周期性。金融数据有一些特殊问题：噪声（noise）、非平稳性、相互依赖、非线性、厚尾（fat tails）（极端事件更容易发生）、交易中频率极高的高频数据（high-frequency data），以及某些市场（如新兴市场）数据太少。受监管的公司在数据管理、风险评估和模型验证上要遵守严格规定；不受金融监管的公司仍要遵守商业法律和合同，只是处理数据的自由度更大。对所有公司来说，数据隐私、充分的模型测试和对模型决策的人工复核都很重要。

数据挖掘、人工智能和机器学习

数据挖掘在大型数据集（通常是结构化的）中寻找可用来预测输出的规律；识别规律依靠条件概率（如贝叶斯定理）。它的主要风险是过拟合（overfitting）。

AI 指模拟人类思维的计算机系统。ML 是 AI 的一个主要分支：算法接收输入数据，不对数据的分布做任何假设，可能还带有目标输出，然后在没有人工帮助的情况下自己学习，为输出建模或找出规律。

用大型、可靠的数据集训练出来的监督学习（supervised learning）模型，预测效果应该不错，但未必能适应新情况。强化学习（reinforcement learning）成本高：设计一套真正能改进模型的奖励机制，可能要大量训练和资源。不管用哪种方法，都需要懂行的人来选模型、清洗输入、控制偏差、解读输出。

**深度学习（deep learning）**用多层神经网络找出越来越复杂的规律，可以采用监督、无监督或半监督学习（用于图像识别、语音识别和自然语言处理）。

过拟合与欠拟合

ML 的其他问题：结果可能是“黑箱（black box）”（难以解释）；训练数据集（training dataset）以外的信息影响了模型的学习，就是数据泄漏（data leakage）。

训练、验证和测试数据集

• 训练数据集（training dataset）：模型在这里寻找关系；它是最大的一组，约占数据的 60%–80%（数据集很大时取上限一端）。
• 验证数据集（validation dataset）：用来改进（调优）训练中找到的关系。
• 测试数据集（test dataset）：最后使用，用来评判模型的预测能力。
  验证集和测试集平分剩下的 20%–40%。观测值通常随机分配，这样可以减少偏差、过拟合和数据泄漏。**时间序列（time series）**数据则必须保持时间顺序：
• 按时间拆分（time-based split）：最早的 60%–80% 观测值用于训练，随后的 10%–20% 用于验证，最近的 10%–20% 用于测试。
• 滚动窗口验证（rolling-window validation）：在一个窗口上训练，在之后的一段时期上验证，然后把窗口向前移动，重复这一过程。
  无论哪种做法，验证数据加测试数据覆盖的时间跨度都应与预定的预测期（forecast horizon）一致。

神经网络、NLP 和 LLMs

神经网络适合处理相互依赖关系很多的非线性关系：一个输入层，若干由加权节点（神经元（neurons））组成的隐藏层（hidden layers），以及一个输出层。神经网络可以用监督方式学习，也可以用无监督方式学习；每个神经元的权重反映它的重要性。神经网络常用反向传播（backpropagation）（一种监督学习）来训练：**前向传播（forward pass）**得出预测，与实际结果比较，算出损失；**损失梯度（loss gradient）**显示权重变化如何影响误差；**梯度下降（gradient descent）**逐步调整权重，使损失最小。

• **生成对抗网络（generative adversarial networks, GANs）**让生成网络和判别网络相互对抗，生成逼真的合成数据（例如用历史市场数据训练，为压力测试生成合理的市场情景）。GANs 也能生成以假乱真的虚假内容，所以对其输出要仔细审核。
• **变分自编码器（variational autoencoders, VAEs）**用编码器网络和解码器网络先压缩数据、再重建数据。它们是概率生成模型，用于降维和发现异常。
• Copula 函数（copulas）（如高斯 Copula）是处理非线性关系的一种较传统的数学工具，用**边际概率分布（marginal probability distributions）**刻画随机变量之间的依赖关系。考试惯例：Cholesky 分解（Cholesky decomposition）被列为 Copula 的一个例子。现行做法：Cholesky 分解是一种矩阵分解，在高斯 Copula 模拟中用来生成相关的正态随机数。

自然语言处理（NLP）让计算机能理解人类语言：语音识别、翻译、为合规目的扫描员工通信，以及发现研究报告或业绩电话会记录中的情绪变化。**文本分析（text analytics）**主要处理非结构化材料，如监管文件和研究报告，或业绩电话会和调查的录音。NLP 把这些材料转换成可用数据，速度远快于人工，并从中寻找规律；例如，**词法分析（lexical analysis）统计每个词出现的频率。LLMs 是生成人类风格文本的生成式 AI，用神经网络读懂定性输入中的语境和含义（选举民调这类非财务输入也可能有影响）。它们的输出是文本，例如摘要，或依据语气和情绪得出的预测。LLMs 通常通过自监督学习（self-supervised learning）**在超大数据集上训练；自监督学习是一种无监督方法，由模型从原始数据中自己生成标签。LLMs 不是为发现金融数据中的错误而设计的，所以其输出需要专家复核，并应与传统的数据驱动模型配合使用。

常用工具有 Python（金融科技应用）、R（统计）、Java（跨平台运行）和 C/C++（高速算法交易）。常用数据库有 SQL（结构化数据，部署在服务器上）、SQLite（结构化数据，不在服务器上；移动应用中常见）和 NoSQL（非结构化数据）。