估计与假设检验（Estimation and Hypothesis Testing）

本章从样本推断总体（population）：先看中心极限定理（central limit theorem, CLT）下样本均值的表现，再讲置信区间（confidence interval, CI）怎么构建、样本怎么抽取。随后列出假设检验（hypothesis testing）的步骤、各种参数检验（parametric test）的检验统计量（test statistic）、两类错误，以及用于秩和类别数据的非参数检验（nonparametric test）。

LOS 7.a — 中心极限定理、置信区间与抽样

中心极限定理（CLT）

$\mu$ 或 $\sigma$ 这样的**总体参数（population parameter）是一个固定的数，通常未知。$\bar{X}$ 或 $s$ 这样的样本统计量（sample statistic）**由实际抽到的样本算出，换一个样本取值就不同，所以它本身是一个随机变量（random variable）。同样大小的所有可能样本给出的统计量取值，构成该统计量的抽样分布（sampling distribution）。

反复抽取容量为 $n$ 的简单随机样本（simple random samples），总体均值为 $\mu$、方差（variance）${\sigma }^2$ 有限。中心极限定理（CLT）指出：不管总体本身是什么形状（偏斜、平坦、起伏不平），样本均值的抽样分布（sampling distribution of the sample mean） $\bar{X}$ 都会随着 $n$ 变大而趋近正态分布（normal distribution）：

由此得到三点：

• 所有可能样本均值的均值等于总体均值：$E(\bar{X})=\mu$。
• 样本均值的方差等于总体方差除以样本容量，即 ${\sigma }^2/n$，$n$ 越大，方差越小。
• CLT 描述的是样本均值的分布。单个观测值仍保持总体的形状；样本标准差（standard deviation）的分布，CLT 不涉及。

标准误（standard error）与抽样误差

**抽样误差（sampling error）是样本统计量与它所估计的总体参数之差（如 $\bar{X}-\mu$）。它的典型大小用样本均值的标准误（standard error of the sample mean）**衡量：

$\sigma$ 未知时用 $s$ 代替，得到的是标准误的估计值。标准差描述单个观测值围绕均值的分散程度，样本变大并不会让它变小。标准误描述 $\bar{X}$ 估计 $\mu$ 的精确程度。

计算器： 有原始数据时，在 DATA 工作表输入观测值，在 STAT 工作表（1-V）读出样本标准差 $S_x$，再除以 $\sqrt{n}$。

估计量的理想性质

置信区间

点估计（point estimate）是单个数值（如 $\bar{X}$）。置信区间是围绕点估计构建的一个范围，它以给定的置信水平（confidence level） $1-\alpha$ 包含真实参数，其中 $\alpha$ 是显著性水平（significance level）：

双尾 z 可靠性因子 $z_{\alpha /2}$：90% 用 1.65（未取整为 1.645），95% 用 1.96，99% 用 2.58（未取整为 2.576）。区间宽度由三件事决定：置信水平越高（可靠性因子越大），区间越宽；总体越分散，区间越宽；样本越大（标准误越小），区间越窄。

**学生 t 分布（Student's t-distribution）**呈钟形、对称，但尾部比正态分布厚；它的临界值（critical value）大于 z 值（区间更宽），并随自由度上升向 z 值靠拢。95% 区间的 t 可靠性因子：10 个 df 时为 2.228，20 个 df 时为 2.086，30 个 df 时为 2.042，而 z 为 1.96。查 t 表时，用单尾面积（双侧区间取 $\alpha /2$）和 $n-1$ 个自由度。

例（σ 已知）： 49 个观测值，$\bar{X}=6.2$，$\sigma =14$，标准误 $=14/7=2$；95% 区间 $=6.2\pm 1.96\times 2=2.28$ 至 $10.12$。 例（σ 未知，小样本）： 来自假定正态总体的 10 个观测值给出 $s$。95% 可靠性因子用 $t_{9,0.025}=2.262$，不用 1.96。如果小样本来自明显非正态的总体，t 区间和 z 区间都不可靠。

风险价值（VaR）：单尾区间

**风险价值（value at risk, VaR）**是在给定期间内、以给定（较小）概率达到或超过的损失。“每日 1% VaR 为 $0.47 million”的意思是：任何一天亏损 $0.47 million 或更多的概率为 1%（等价地说，有 99% 的把握损失小于这个数）。VaR 是给定概率下的最小损失；更大的损失仍可能发生，所以它不是最坏情况下的损失。

参数法（parametric method）（收益率服从正态分布，假定平均收益率为零）下：

整个 $\alpha$ 放在一侧尾部：$z_{10\%}=1.28$，$z_{5\%}=1.65$（未取整为 1.645），$z_{1\%}=2.33$。$\sigma$ 用百分比、组合价值用美元时，VaR 是美元损失；去掉组合价值，VaR 就表示为占组合的百分比。 例： $25 million 的组合，每日 $\sigma =0.8\%$，每日 1% VaR $=2.33\times 0.008\times \$25\text{m}=\$466,000$，即组合的 1.864%。

缺点：收益率常常偏斜或厚尾，参数随时间变化，历史数据可能反映不了新情况，对非线性收益（期权）处理得不好。

抽样方法

概率抽样一般更准确；非概率抽样（Nonprobability sampling）成本更低。分层抽样和整群抽样（Cluster sampling）都先把总体分组。分层抽样从每一组都抽，所以样本保持了总体在各组之间的构成；整群抽样只用其中一部分组，组与组之间的差异可能丢失。

样本本身不具代表性，CLT 也救不回来。

LOS 7.b — 总体均值的假设检验

假设检验做什么

**假设（hypothesis）**是关于总体参数（parameter）取什么值的一个说法（例如“这个策略的日均收益率为零”）。用一个样本（sample）来判断：数据是否提供了足够的证据，可以拒绝这个说法。

• **参数检验（parametric tests）**对总体（population）的分布做出假定，检验的是分布的参数（均值、方差）。
• **非参数检验（nonparametric tests）**对分布的假定很少，或者检验的对象不是参数（秩、类别计数）；模块 7.4 专门讲。

四个步骤

1. 写出原假设（null hypothesis, H0） $H_0$ 和备择假设（alternative hypothesis, Ha） $H_a$。
2. 确定**检验统计量（test statistic）**及其分布。
3. 设定显著性水平（significance level） $\alpha$。
4. 确定决策规则（decision rule）（即临界值（critical value）），然后比较。

假设。 原假设通常是研究者希望拒绝的说法，并且总是含有等号（=、≤ 或 ≥）。备择假设是研究者想要找证据支持的结论。两者互斥，且合起来覆盖所有可能。

均值的检验统计量

检验统计量衡量样本均值离假设值有多少个标准误（standard error）：

用 $s$ 计算、且总体服从正态分布（normal distribution）（或近似正态）时，统计量服从自由度（degrees of freedom）为 $n-1$ 的 t 分布（t-distribution）；大样本（$n\ge 30$）时，即使总体不是正态的，CLT 也让 t 检验（t-test）近似成立，用 z 统计量（z-statistic）（标准正态）近似也可以。来自明显非正态总体的小样本，两种检验都不适用。总体服从正态分布且方差（variance）已知时，统计量用 $\sigma$ 计算，不论样本多大都服从标准正态分布（standard normal distribution）；z 临界值没有自由度。符号有意义：统计量为负，说明样本均值低于 ${\mu }_0$。

z 临界值（考试取值；括号内为三位小数的值）：

决策规则。 检验统计量落入拒绝域（超过临界值）时拒绝 $H_0$；否则不能拒绝（fail to reject） $H_0$。原假设永远不会被“接受”；不能拒绝只说明数据的证据不够强，拒绝不了它。**置信水平（confidence level）**为 $1-\alpha$。双尾检验（two-tailed test）的规则等价于一个置信区间（confidence interval, CI）：$H_0$ 被拒绝，当且仅当样本均值落在以假设值为中心的区间 ${\mu }_0\pm$（临界值 $\times$ 标准误）之外。

临界值取决于三件事：检验统计量的分布（z，或带自由度的 t）、显著性水平，以及检验是单尾还是双尾。例如在 $\alpha =5\%$ 时，统计量 1.75 超过右尾检验的临界值（1.65），但没有超过双尾检验的临界值（1.96），两种检验的结论不同。

什么会推动统计量变化。 样本均值高于 ${\mu }_0$ 时，样本均值上升、标准差（standard deviation）下降或样本容量增大（标准误变小），统计量（以及拒绝的概率）都会上升。

第一类错误、第二类错误与检验功效

• 显著性水平就是犯第一类错误（Type I error）的概率，即原假设为真却因偶然被拒绝的概率。
• 检验功效是正确拒绝错误原假设的概率：功效 $=1-P(\text{Type II error})$。
• 一次检验只可能犯一种错误：第一类错误要求原假设为真，第二类错误（Type II error）要求原假设为假。
• 此消彼长：样本容量和检验统计量不变时，降低 $\alpha$（如从 5% 降到 1%）会提高犯第二类错误的概率，降低功效；在这种情况下要提高功效，就得接受更高的 $\alpha$。$\alpha$ 更低还意味着临界值更大，对应的置信区间更宽。
• 考试惯例：给定 $\alpha$，只有增大样本容量才能提高功效，这样犯第二类错误的概率下降，而犯第一类错误的概率仍为 $\alpha$。现行说法：在给定的 $\alpha$ 下，噪声更小的数据（标准差更低）或功效更强的检验统计量也能提高功效。
• 犯第二类错误的概率同时取决于 $\alpha$ 和样本容量，但两者的关系并不简单，实际中这个概率很难算出。同一个假设可以用几种检验统计量时，通常选功效最强的那个。

LOS 7.b — 其他参数假设检验

下面每一种检验都和单个均值的检验一样，分四步走（假设、检验统计量、显著性水平（significance level）、决策规则（decision rule））。变化的是检验统计量（test statistic），以及临界值（critical value）所依据的分布。

各种检验一览

均值之差与配对比较

• 独立样本（independent samples）（如小盘基金的收益率与大盘基金的收益率）：用均值之差 t 检验（t-test）检验 $H_0:{\mu }_1-{\mu }_2=0$，df $=n_1+n_2-2$。这个自由度属于**合并（pooled）**版本：它假定两个总体（population）方差相等，把两个样本合在一起估计一个方差 $s_p^2$。不假定方差相等的检验用非合并标准误（standard error）$\sqrt{s_1^2/n_1+s_2^2/n_2}$，自由度另用 Welch 近似计算，通常小于 $n_1+n_2-2$。当 $n_1=n_2$ 时，合并与非合并的标准误完全相同；样本方差（sample variance）相近时，两个 t 值也很接近。
  • 考试惯例：均值之差的统计量可以用非合并标准误 $\sqrt{s_1^2/n_1+s_2^2/n_2}$ 计算，仍与 $n_1+n_2-2$ 个自由度的 t 临界值比较。
  • 现行做法：$n_1+n_2-2$ 个自由度配合并标准误（假定方差相等）；非合并（Welch）检验的自由度更少。
• 非独立样本（dependent samples）（同一批对象测量两次，如每只基金降费前后的收益率）：先算出每一对的差值，再对这些差值做单个均值的检验。这就是配对比较检验（paired comparisons test），df $=n-1$。

例（独立样本）： ${\bar{X}}_1=1.9$，$s_1=1.5$，$n_1=25$；${\bar{X}}_2=1.2$，$s_2=1.3$，$n_2=31$。假定总体方差相等，$s_p^2=(24\times 1.5^2+30\times 1.3^2)/54=1.939$，$t=0.7/\sqrt{1.939/25+1.939/31}=1.87$；df = 54，5% 双尾临界值为 2.005，所以不能拒绝均值相等的原假设（null hypothesis, H0）。（用非合并标准误得 $t=1.84$，结论相同。） 例（配对）： 16 对数据，$\bar{d}=1.2$，$s_d=2.0$，$t=1.2/(2.0/4)=2.40$。它超过 $t_{15,0.025}=2.131$，所以拒绝差值均值为零的原假设。

单个方差的检验（卡方）

**卡方分布（chi-square distribution）**不对称（右偏），下限为零。在 $\alpha$ 水平上做双尾检验（two-tailed test），要找一个下侧临界值（其右边的面积为 $1-\alpha /2$）和一个上侧临界值（其右边的面积为 $\alpha /2$）。 例： 21 个观测值，$s=5.5\%$，$H_0:\sigma =4.5\%$，${\chi }^2=20\times 5.5^2/4.5^2=29.88$。自由度为 20、$\alpha =5\%$ 时，临界值为 9.591 和 34.170，所以不能拒绝原假设。

关于标准差（standard deviation）的假设要改写成关于方差的假设。收益率用小数表示时，“$\sigma$ 低于 3%”的说法写成 $H_0:{\sigma }^2\ge 0.0009$ 对 $H_a:{\sigma }^2<0.0009$，只用下侧临界值。

两个方差的检验：F 检验（F-test）

**F 分布（F-distribution）**右偏，下限为零，由两个自由度决定（分子 $n_1-1$，分母 $n_2-1$）。样本方差相等时 $F=1$。把较大的方差放在分子上，就只需要看上侧临界值（双尾检验时该尾部面积为 $\alpha /2$）。

• $H_0:{\sigma }_1^2={\sigma }_2^2$（方差没有差异）对 $H_a:{\sigma }_1^2\ne {\sigma }_2^2$。
• F 统计量超过 F 临界值时，拒绝 $H_0$，结论是方差存在显著差异。 例： $s_1=6.0$（$n_1=16$），$s_2=4.2$（$n_2=21$），$F=36/17.64=2.04$。上侧尾部 2.5% 的临界值 $F_{15,20}$ 为 2.573，所以不能拒绝原假设。

相关系数的检验

相关系数（correlation coefficient）（即皮尔逊相关系数（Pearson correlation））衡量线性关系的强弱，取值在 −1（完全负相关）和 +1（完全正相关）之间；为零表示没有线性关系。$H_0:\rho =0$ 对 $H_a:\rho \ne 0$。统计量只需要样本相关系数 $r$ 和样本容量 $n$；它服从自由度为 $n-2$ 的 t 分布（t-distribution）。统计量的绝对值随 $|r|$ 和 $n$ 增大，所以大样本中不太强的相关性（correlation）也可能显著：同样是 $r=0.25$，$t=2.56$（$n=100$），而小样本只有 $t=0.86$（$n=13$）。 例： $r=0.30$，$n=50$，$t=0.30\sqrt{48}/\sqrt{0.91}=2.18$。它超过 $t_{48,0.025}=2.011$，所以拒绝 $\rho =0$。
给出表格时，按 $n-2$ 个自由度选行，按题目给定的（双尾）显著性水平选列。只有 $|t|$ 超过该列的值，才能在该水平上拒绝原假设。

p 值与 p 值操纵

**p 值（p-value）**是能够拒绝原假设的最小显著性水平（即在 $H_0$ 为真时，得到至少与观测值一样极端的统计量的概率）。拒绝 $H_0$ 的条件是 p 值 < $\alpha$。 **p 值操纵（p-hacking）**是指操纵数据或检验过程，人为制造统计上显著的结果，例如：

• 只检验表现最好的时期，或把不利的观测值当作“异常值（outliers）”删掉；
• 数据挖掘（data mining）：反复做很多检验，直到有一个拒绝原假设（$\alpha =5\%$ 时，对为真的原假设做 20 次检验，大约有 1 次会因偶然而拒绝）；
• 用平滑过的数据（如基于评估值的数据）低估风险。
  p 值操纵会让实际为真的原假设被拒绝，因此提高了第一类错误（Type I errors）（假阳性）的频率。它不同于正当地选择显著性水平或寻找功效更强的检验。

LOS 7.c — 参数检验与非参数检验

什么样的检验是非参数检验？

以下情况用非参数检验（Nonparametric test）：（1）数据是秩或类别；（2）参数检验的分布假定不成立（如样本（sample）小、总体明显非正态，不能依靠中心极限定理（central limit theorem, CLT））；（3）问题本身与参数无关，例如两组秩是否相关，或一组观测值是否符合某个特定分布。

斯皮尔曼秩相关检验

**斯皮尔曼秩相关系数（Spearman rank correlation）**衡量两组秩之间单调关系的强弱（如一只基金今年和明年的业绩排名）。秩为整数，$d_i$ = 第 $i$ 项的两个秩之差：

用列联表做独立性检验

**列联表（contingency table）**按两个类别特征对观测值计数（如发行人（issuer）行业 × 信用评级变动）。**卡方独立性检验（chi-square test of independence）**判断这两个特征是否相关。

• $H_0$：两个特征相互独立。$H_a$：两者不独立。
• 独立时单元格 $(i,j)$ 的期望频数（expected frequency）。两个特征独立时，一个观测值落在哪一行，对它落在哪一列没有任何信息，所以每一行的合计按各列合计的比例分配到各列：

• 检验统计量（test statistic）（对所有单元格的离差平方求和，每一项都除以期望频数）：

• ${\chi }^2$ 超过卡方临界值（critical value）时拒绝独立性（只看右尾）。
• 单元格的标准化残差（standardized residual）（皮尔逊残差）为 $(O_{i,j}-E_{i,j})/\sqrt{E_{i,j}}$；它的平方就是该单元格对 ${\chi }^2$ 的贡献。
  • 考试惯例：每个标准化残差近似服从标准正态分布（standard normal distribution），数值超出 ±2 的单元格被标记为对不独立有显著贡献。
  • 现行做法：行合计和列合计都是从数据中估计的，所以原始残差的方差（variance）小于 1，±2 只能作为筛选用的经验法则。调整残差把 $O_{i,j}-E_{i,j}$ 除以 $\sqrt{E_{i,j}(1-\text{row share})(1-\text{column share})}$，近似服从标准正态分布的是它。

（小型，上调）的期望频数 $=100\times 60/220=27.27$。对六个单元格的 $(O-E{)}^2/E$ 求和，得到 ${\chi }^2=20.38$，自由度为 $(2-1)(3-1)=2$。5% 的临界值为 5.991（1%：9.210），所以拒绝独立性。（小型，上调）的标准化残差为 $(42-27.27)/\sqrt{27.27}=2.82>2$：按 ±2 的经验法则，小型发行人被上调的频率明显高于独立时应有的水平。