17.6 数据挖掘处理

17.6 处理数据挖掘

White的现实检验提供了一种方法来解决在正交回归中选择哪些变量 $z_t$ 时出现的问题。大量可能的协变量以及广泛的模型选择意味着人们可以在许多可能的设定中进行搜索。事实上，这正是文献研究中所采用的方式——不同的研究者使用不同的预测模型。假设一位研究者发现了一个更优的模型。如果在此之前已经尝试了众多其他设定，我们应如何解读这一证据？一种方法是将该模型视为更大一组竞争设定中的（潜在）最佳模型，并使用White的现实检验方法来修正跨多个模型搜索所产生的影响。换言之，我们将考察最佳设定是否真正优于基准，同时考虑到已尝试的其他模型。这正是Sullivan、Timmermann和White（2001）在研究应用于每日股票收益的技术交易规则表现时所采用的方法。

White–Hansen方法的替代方案是使用Bonferroni界。设 $p_k$ 为对应于"第 $k$ 个模型未能产生低于基准的预期损失"这一原假设的 $p$ 值。对于绩效测度 ${\bar{d}}_1,\dots ,{\bar{d}}_m$ 之间的任意相关性，Bonferroni界意味着对应于"这 $m$ 个模型中无一优于基准"这一联合原假设的 $p$ 值满足以下上界：

$$p\le \min (m\times \min (p_1,\dots ,p_m),1).\text{\hspace{1em}(17.43)}$$

等价地，该检验在 $\alpha \%$ 显著性水平下拒绝原假设，若 $\min (p_1,\dots ,p_m)<\alpha /m$。注意，产生对"没有模型能击败基准"这一原假设最强反驳证据的最小 $p$ 值，会被所考虑的模型数量所放大。Bonferroni方法倾向于保守，并防范"最坏情形"。例如，在预测完全相关的情况下，$p$ 值相同，因此正确的程序是当 $p<\alpha$ 时即拒绝，而不仅仅在 $p<\alpha /m$ 时才拒绝。

方程（17.42）和（17.43）都表明，从能否识别出真正更优模型的角度来看，在大量预测模型中进行搜索并非无害——其中许多模型本来就没有希望产生好的结果。每当考虑一个新的备选模型时，击败基准的衡量标准就会被调整，从而对盲目的数据挖掘行为施加了一种"税"。因此，那些能够借助经济理论来识别函数形式或预测变量，从而指导预测模型搜索的程序，更有望取得成功。

图17.1：基于11个预测变量所有可能组合的均方根误差表现（上图）与 $p$ 值（下图），相对于主流均值基准进行衡量。所有预测均基于使用20年月度观测数据的滚动窗口估计。

17.6.1 实证应用

为说明这些思想，我们利用Welch和Goyal（2008）数据集中的11个预测变量（该数据集在前述应用中已被使用）对月度股票收益进行了一项实证应用。我们考虑所有可能的 $2^{11}=2048$ 个模型。样本外区间为1970–2013年，估计使用20年月度观测数据的滚动估计窗口进行更新。这确保了在应用White的现实检验或Hansen的SPA检验时，嵌套模型不会成为问题。我们采用Welch和Goyal（2008）的主流均值模型作为基准。该基准包含一个截距项但不包含时变预测变量。

图17.1的上图绘制了RMSE表现，主流均值模型基准的值以水平线标示。图中反映出的模型排序模式并非随机——在由不同预测变量构成的不同区块内，小模型之后是大模型。极少有模型能产生低于主流均值基准的RMSE表现。

图17.1的下图绘制了与各单个模型相关联的 $p$ 值。没有模型能够产生接近常规5%临界值的 $p$ 值。因此，对本应用而言，在考虑模型搜索之后，没有模型能击败主流均值基准也就不足为奇了。事实上，当我们使用White的现实检验时，得到的 $p$ 值为1，这证实了最佳预测模型并不优于主流均值基准。