17.4.3 检验的有限样本性质

17.4.3 检验的有限样本性质

迄今为止所描述的结果都是渐近结果，但预测评估检验在有限样本中的实际尺寸已在多种蒙特卡洛实验中得到检验。在预测误差已知的情况下，Harvey、Leybourne 和 Newbold（1998）分析了各种检验统计量之间的差异。这些学者并未重复预测方法，而是直接从具有少量自由度的联合 t 分布中抽取预测误差。他们发现，对于小样本，（17.7）式的尺寸扭曲可能十分严重，但需要分布具有相当厚的尾部才能出现这种情况。

West（2001）从模型 $y_{t+1}=x_{1t}+e_{1t+1}$ 生成数据，并将该模型（其中 $x_{1t}$ 对 $y_{t+1}$ 的影响经过估计）与使用 $x_{2t}$ 来预测 $y_{t+1}$ 的模型进行比较，其中 $x_{2t}$ 与 $y_{t+1}$ 相互独立。变量 $(e_{1t+1},x_{1t},x_{2t})$ 从独立正态分布中抽取，使用对角元素为 (1, 1, 2) 的方差–协方差矩阵。West 研究了检验统计量（17.8）以及将其标准误 S 替换为根据 West 和 McCracken（1998）的结果所得到的调整后标准误后的同一统计量。标准误随评估样本与估计样本的相对大小 $T_P/T_R$ 而变化，并取决于构造预测所使用的方法。对于该模型，（17.8）式理论上存在尺寸过大问题，因为在构造预测时引入的估计误差为标准误添加了一个非负分量。蒙特卡洛结果证实了这一点。修正后检验统计量的尺寸在评估样本不太小时得到良好控制；对于大的估计样本而言尺寸偏小，对于小的估计样本而言则尺寸偏大。

对于嵌套模型，Clark 和 McCracken（2001）研究了以下数据生成过程：$\{y_t,x_t\}$ 由具有独立（跨时间和跨变量）残差的 VAR(1) 或 VAR(2) 生成。预测模型为 $y_t$ 的（阶数正确的）自回归或正确设定的 VAR。${}^{10}$ 为了检验尺寸，所选 VAR 使得 $x_t$ 的滞后项不具有预测能力。使用基于回归（17.7）的检验，以及利用渐近结果构造临界值的 ENC-T 和 ENC-NEW 统计量，Clark 和 McCracken 发现这些检验的尺寸得到了良好控制。

Clark 和 McCracken（2005a）提出了受限 VAR 自助法，以处理预测误差中的序列相关和条件异方差在检验统计量的渐近分布中引入冗余参数的情形。该自助法对 $\{y_t,x_t\}$ 采用 VAR 设定，其参数使用受限模型下的全样本 OLS 进行估计。从该模型中重抽样残差，用于递归地生成 $\{y_t,x_t\}$ 的自助时间序列。然后，利用这些自助序列估计受限和不受限预测模型，并将该过程重复大量次数，以计算在仅包含于大模型中的变量无预测能力的原假设下自助的检验统计量的完整分布。然后将实际数据中受限和不受限模型的（相对）预测表现的检验结果与该分布的分位数进行比较，以计算 $p$ 值。

各种预测评估检验的功效也已通过蒙特卡洛实验得到检验。对于嵌套情形，Clark 和 McCracken（2001）采用上述蒙特卡洛设计，但允许 $x_t$ 的滞后项影响 $y_t$。他们发现，ENC-NEW 检验的功效高于基于回归（17.7）的检验和 ENC-T 统计量。他们还表明，全样本格兰杰因果检验的功效显著高于任何样本外检验。这并不令人意外，因为我们研究的检验统计量适用于经典假设，所以全样本检验通常具有更高的功效。

Hansen 和 Timmermann（2015）针对两个参数递归估计的嵌套线性回归模型的情形，建立了功效方面的解析结果。他们的结果表明，对于固定的总体样本长度 (T)，样本外检验的功效随用于初始参数估计的数据样本规模的增大而降低，反之，随用于样本外预测评估的数据增多而提高。

这些样本外检验已被广泛用于比较股票收益（Lettau 和 Ludvigson，2001；Hansen、Lunde 和 Nason，2011）以及通胀率和汇率（Rossi，2013b）的预测。

17.4.4 实证应用

表 17.2 报告了与滚动估计窗口相关的 RMSE 值，以及对拟合股票收益的 11 个单变量预测模型进行的包含检验、Diebold–Mariano 检验和 Giacomini–White 检验的 p 值。表中每个模型包括在行中列出的预测变量，而基准的现期均值仅包含一个截距项。对于 DM 检验，参数使用扩展窗口估计，而对于 Giacomini–White 检验，我们使用包含 20 年月度观测值（120 个数据点）的滚动窗口。样本外评估期为 1970–2013 年。

许多模型生成的 RMSE 值与基准现行均值模型的 RMSE 值（4.4871）相当，其中基于默认利差（dfr）、长期回报（ltr）、通货膨胀（infl）和期限利差（tms）的模型表现略好。然而，无论是 Diebold-Mariano 检验、HLN 检验还是 Giacomini-White 检验，都没有拒绝任何预测变量的预测精度相等的原假设。