6.7.1 预测性能的统计度量

6.7.1 预测表现的统计度量

我们研究样本外结果，尽管我们使用的方法基于惩罚化的样本内表现。部分原因是，我们希望观察所选预测模型在不同时间和不同经济环境下的变化程度。另一个原因是，这使我们能够模拟预测模型的"实时"表现。这种方法的优缺点将在本书第17章中详细讨论。

此处考虑的所有方法都使用线性预测模型。前向逐步方法使用最大p值为0.05作为将预测变量加入现有预测模型的标准。后向逐步方法使用最小p值为0.10作为将预测变量从现有模型中剔除的标准。

对于Lasso方法，我们选择两个非常小的惩罚因子λ值。具体来说，我们使用Belloni和Chernozhukov（2011）的公式 $\lambda =2c\sigma \sqrt{T}{\Phi }^{-1}(1-\alpha /2n_k)$ ，设定 $c=0.002$（我们将其标记为 $c_1$ ）和 $c=0.006$（标记为 $c_2$ ）。

图6.2：美国股票市场季度收益率及基于各种预测和模型选择方法（包括AIC和BIC信息准则、前向（frw）和后向（bck）逐步选择、不同显著性水平的Bagging、不同惩罚的Lasso、交叉验证（CV）以及现行均值（PM））递归生成的样本外预测。

我们对Bagging方案的实现使用了原始数据的B = 1,000个自助样本。数据以 $\{y_{t+1:T},X_{t:T-1}\}$ 元组的形式排列。通过Politis和Romano（1994）的循环块自助法保留预测变量中的自相关性，块大小根据Politis和White（2004）最优选择。通过对所有变量使用相同的块来保持观测值之间的依赖关系。对于每个自助样本，估计值 ${\hat{\beta }}^b$ 用于计算预测值 ${\hat{\mathbf{f}}}_{t+1|t}^b=(x_t^{\prime }{S}_t){\hat{\mathbf{\beta }}}^b$ ，其中 $S_t$ 是一个随机选择矩阵，其第(i, i)个元素等于示性函数 $1(|p-{\mathrm{val}}_i|<\alpha )$ 。只有当预测变量的p值小于α时才将其加入模型。因此，随着α变大，标准变得更加宽松，所选模型也更大。我们考虑α的两个不同值，即 $\alpha =1\%$ 和α = 5%。最终的Bagging预测通过对自助抽样取平均得到

$${\hat{\mathbf{f}}}_{t+1|t}^{\mathrm{BAGG}}=\frac{1}{B}\sum _{b=1}^B{\hat{\mathbf{f}}}_{t+1|t}^b.\text{\hspace{1em}(6.34)}$$

交叉验证方案使用样本量为t时的 $v=0.5(0.5t-\sqrt{t}-1)$ 个观测值作为验证样本，并在构建估计样本时舍弃0.25t个观测值。

图6.2展示了使用几种模型选择程序递归生成的股票收益率预测。已实现序列（如左上角面板所示）波动性很大，且没有自相关证据。转向预测值，首先要注意的是，许多不同模型选择方法的预测值之间高度相关。尽管如此，在某些情况下也存在重要差异。例如，AIC和惩罚最小（ $c_1$ ）的Lasso方法生成的预测值比BIC或惩罚较大（ $c_2$ ）的Lasso等选择方法生成的预测值波动性更大。

作为基准，我们遵循Welch和Goyal（2008）的方法，使用现行均值。这只是历史平均值，因此通过 ${\sum }_{\tau =1}^t{y}_{\tau }$ 来预测 $y_{t+1}$ 。如右下角窗口所示，现行均值预测比其他预测稳定得多。

表6.1展示了不同方法生成的预测之间的相似程度。在对角线下方，该表显示了预测之间的相关性；而在对角线上方，显示了预测误差之间的相关性。对于大多数方法——关键例外是现行均值——预测之间的相关性是显著为正的。由于股票收益中存在一个大的共同未解释成分，表6.1中对角线上方所示的预测误差之间的相关性非常大，超过0.90。

表6.2的前两列通过报告预测的波动性和偏差来比较其时间序列行为。在信息准则和逐步方法中，由AIC或后向逐步方法选择的模型生成的预测比由BIC或前向逐步方法选择的模型生成的预测波动性更大。反过来，这些方法生成的预测又比基于Bagging或交叉验证方法的预测波动性更大。我们如何设置Bagging或Lasso的参数会影响预测的波动性，因为这会影响这些方法纳入的预测变量数量。纳入额外变量的惩罚越低，预测模型中纳入的变量就越多，预测的波动性也越大。

图6.3绘制了递归包含频率。具体而言，对于每种变量选择方法，图表显示了哪些预测变量被包含（用星号表示），哪些被排除。这类图表提供了一种信息丰富的方式来展示不同变量如何进入和退出预测模型。我们展示了四个变量的结果，即股息价格比、短期国债利率、期限利差和违约收益率。显然，哪些变量被包含在很大程度上随时间和选择方法的变化而变化。例如，股息价格比在大部分时间里被后向逐步法、赤池信息量准则（AIC）和5%自助法纳入模型，但从未被前向逐步法、具有最高惩罚项的套索（Lasso）方法或交叉验证方法选中。还有证据表明，所选模型在时间上存在不稳定性。例如，期限利差在七十年代初至中期被许多准则选中，但此后很少被选中，除了具有最小惩罚因子的套索方法以及在样本末期的AIC。

鉴于这些差异，预测结果之间却如此高度相关似乎令人惊讶。然而，许多预测变量之间存在强相关性，因此可以相互替代。预测变量的不同线性组合因此可以高度相关。

预测评估将在本书第三部分详细讨论。然而，作为方法预测准确性的指示，我们在表6.2的第三列中报告了均方根误差（RMSE）值。根据该准则，与波动最小的预测相关的模型选择方法表现最佳，这表明预测变量在该应用中并非十分有效，参数估计误差较为重要。事实上，不包含任何时变预测变量的"现期均值"模型在所有方法中产生了最低的RMSE值。

表6.1 不同方法对预测美国股票市场季度收益率的预测之间相关性（对角线下方）以及预测误差之间相关性（对角线上方）

表 6.2： 不同预测方法应用于美国股票市场季度收益率的样本外预测表现。Std 和 Bias 分别为递归预测的标准差和偏差，RMSE 和 $R^2$ 分别为预测误差的均方根和 $R^2$，后者相对于现行的均值模型测度。DM 列出了预测精度相等的 Diebold–Mariano 检验。Sign 和 PT.-test 分别给出季度超额收益率预测符号正确的百分比以及 Pesaran–Timmermann (1992) 检验统计量的对应值及其 $p\cdot$ 值。

预测精度的另一种度量方法由表 6.2 第四列所示的样本外 $R^2$ 度量提供，它相对于现行均值模型进行测度，因此该模型得分为 $0.{}^{10}$。负值表示在相对于简单现行均值预测的此度量标准下表现较差，而正值则表示相对于此基准表现较好。在这种情况下，所有模型都产生负的样本外 $R^2$ 值，这证实了股票收益率中可预测成分的规模较小。

正如我们在第 17 章关于预测评价方法的讨论中所阐明的那样，在如下情况下，对样本外相对预测精度的抽样分布进行推断时必须谨慎，即模型参数使用扩展的估计窗口进行估计，且所选模型随时间变化。考虑到这一注意事项，作为模型预测差异统计显著性的一个指示，表 6.2 的第五列报告了相对于现行均值模型计算的 Diebold–Mariano 检验，因此现行均值模型按此标准得分为 0。Diebold 和 Mariano (1995) 的 Diebold–Mariano 检验将在第 17 章中更详细地解释，但在此处是作为对两个模型均方误差之差的 t 检验来计算的。正值表明现行均值模型产生的 MSE 值低于每行所列的替代方法，而负值则表明

$$1-\frac{T^{-1}{\sum }_{t=0}^{T-1}(y_{t+1}-f_{it+1|t}{)}^2}{T^{-1}{\sum }_{t=0}^{T-1}(y_{t+1}-{\bar{y}}_{t+1|t}{)}^2},$$

图 6.3：拟合于美国股票市场季度收益率的模型中，股息价格比率、短期国债利率、期限利差和违约收益率的递归变量纳入图。变量纳入用星号标记，而空白表示该变量在给定时期未被选中。

情况相反。此处获得的 Diebold–Mariano 检验统计量的大负值表明，基于 AIC 和 BIC 模型选择准则的预测表现特别差。

正如先前所论述的，预测表现的统计度量未必与预测的经济度量紧密对应。为强调这一点，我们报告了两种替代的性能度量。首先，我们报告超额收益率预测符号正确的百分比，即"命中率"。这显示在表 6.2 的第 6 列中。数值范围从向后逐步方法所选模型的 51% 到现行均值的 61% 以及具有最大惩罚项的 Lasso 方法的 60%。

仅通过始终预测正的平均超额收益，即可获得最高的命中率。这是一种所谓的"破钟"预测，它从不改变，因此几乎不包含或完全不包含任何信息。真正具备预测超额收益正负号的能力，必须意味着同时具备预测正号和负号的能力。由 Pesaran 和 Timmermann（1992）提出并在第 18 章中详细阐述的符号检验，正是对预测同时捕捉正号和负号能力的考量。该检验渐近服从正态分布，其结果列于表 6.2 的第七列和第八列。这些结果显示，没有任何一种预测方法具有显著的能力，能够选出正确预测股市方向的模型。