比较多项预测

17.5 比较多个预测

在需要比较两个以上预测的情况下，我们需要考察一个预测向量。上述讨论的某些方法可以推广到包含 m 个预测的一般情形（例如，包容检验），而其他方法则不能（例如，Granger–Newbold 比较）。本节讨论预测数量为任意值时对检验的影响。

在有两个预测的情况下，自然的检验是预测精度相等的原假设。相比之下，在存在多个备选预测的情况下，自然要问是否存在某个预测优于基准预测。这导致一个复合假设，通常比简单的成对预测精度相等检验更难检验。

17.5.1 预测包容

在 MSE 损失下，预测包容可以直接推广到检验第一个预测对一般 $(m\times 1)$ 维预测向量中其余预测的包容。式 (17.5)、(17.6) 和 (17.7) 的向量形式分别变为

$$y_{t+1}={\beta }_1{\hat{f}}_{1t+1|t}+{\beta }_2^{\prime }{\hat{f}}_{2t+1|t}+{\epsilon }_{1t+1},\text{\hspace{1em}(17.33)}$$

$$y_{t+1}-{\hat{f}}_{1t+1|t}={\beta }_2^{\prime }{\hat{f}}_{2t+1|t}+{\epsilon }_{2t+1},\text{\hspace{1em}(17.34)}$$

$${\hat{e}}_{1t+1|t}={\beta }^{\prime }({\hat{e}}_{1t+1|t}-{\iota }_{m-1}{\hat{e}}_{2t+1|t})+{\epsilon }_{3t+1},\text{\hspace{1em}(17.35)}$$

其中，${\hat{f}}_{2t+1|t}$ 和 ${\hat{e}}_{2t+1|t}$ 分别是 $((m-1)\times 1)$ 维的预测向量和预测误差向量，${\iota }_{m-1}$ 是 $((m-1)\times 1)$ 维的全 1 向量，$\beta$ 或 ${\beta }_2$ 是 $((m-1)\times 1)$ 维的回归系数向量。原假设 $H_0:\beta =0$ 或 $H_0:{\beta }_2=0$ 给出检验第一个预测包容其余 $m-1$ 个预测的检验统计量。

17.5.2 优越预测能力检验

White (2000) 研究了预测误差向量或更一般地与这些误差相关的损失向量的情形。然而，他考察的是一个非常不同的问题，即给定最佳预测是从一组潜在的较大模型集合中选取的，我们对最佳预测是否真正优于预先指定的基准预测有多大把握。从一个潜在的较大模型池中选取最佳模型这一事实在评估其表现时可能非常重要：在任意给定的样本中，一个预测模型可能产生较小的平均损失，尽管在期望意义上（即在我们可能看到的所有样本中）该模型的表现并不会那么好。在多个预测模型中进行搜索既可能找到一个真正优秀的模型，也可能发现一个只是在给定样本中恰好表现良好的糟糕模型。更广泛地说，这就是能力与运气的问题，即拥有真正优越的模型还是仅拥有在给定样本中恰好表现良好的劣势模型的问题。

White (2000) 考虑的现实检验（Reality Check）设置与许多经济学家进行模型构建的过程非常相似。在给定的数据集上通常会考察许多不同的设定。模型比较中使用的检验通常忽略了在选择预测模型之前可能进行过的设定搜索，尽管这些模型可能是先前检验的"幸存者"。

White 使用递归设置来构建预测，并考虑各个预测模型表现的联合分布。对于 m 个模型，有 m 个样本外（平均）损失的样本估计量。设 $d_{kt+1|t}({\hat{\beta }}_t)=L(f_{0t+1|t}({\hat{\beta }}_{0t}),y_{t+1})-L(f_{kt+1|t}({\hat{\beta }}_{kt}),y_{t+1})$ 为第 $t+1$ 期相对于模型 k 衡量的基准模型（编号为模型 0）的损失差，因此当模型 k 的平均损失等于基准模型的平均损失时，我们得到零值。负值表明模型 k 相对于基准模型具有更高的损失，而正值表明模型 k 优于基准模型。此外，设 ${\bar{d}}_k$ 为 $d_{kt+1|t}$ 在 $t=T_R,\dots ,T-1$ 上的样本均值，并设 $\bar{d}=({\bar{d}}_1,\dots ,{\bar{d}}_m{)}^{\prime }$ 为 $(m\times 1)$ 维的样本均值向量，在包含 $T_p$ 个观测值的某个（样本外）评估期上计算得到。最后，设 ${\beta }_k^{\ast }=\text{plim}({\hat{\beta }}_{kT})$ 为给定估计方法下 ${\beta }_k$ 的伪真实值。现实检验所检验的原假设是基准模型不劣于 m 个备选模型中的任何一个：

$$H_0:\underset{k=1,\dots ,m}{\max }E\left[d_{kt+1|t}({\beta }_k^{\ast })\right]\le 0,\text{\hspace{1em}(17.36)}$$

而备择假设是至少有一个模型产生比基准模型更低的期望损失：

$$H_1:\underset{k=1,\dots ,m}{\max }E\left[d_{kt+1|t}({\beta }^{\ast })\right]>0.\text{\hspace{1em}(17.37)}$$

如果所有模型的表现与基准模型一样好，那么 $\bar{d}$ 向量的均值为零，因此该向量的最大值均值也为零。通过考察损失向量的最大值，该假设反映了研究人员在实践中可能会在大量竞争设定中搜索最佳模型这一事实。备择假设是最佳模型优于基准模型，即存在一个优越的模型。

在 $T_p^{1/2}(\bar{d}-E({\bar{d}}^{\ast }))\Rightarrow \mathrm{N}(0,\Omega )$（当 $T_p\to \infty$ 时）的假设下，其中 $\Rightarrow$ 表示依分布收敛，且 $d_{t+1}^{\ast }=L(f_{0t+1|t}({\beta }_0^{\ast }),y_{t+1})-L(f_{t+1|t}({\beta }^{\ast }),y_{t+1})$，其中 ${\beta }^{\ast }=\mathrm{plim}({\hat{\beta }}_T)$（当 $T\to \infty$ 时），White (2000) 建立了在以下条件下成立的结论

$$\underset{k=1,\dots ,m}{\max }{T}_p^{1/2}({\bar{d}}_k-E[{\bar{d}}_k^{\ast }])⟹\underset{k=1,\dots ,m}{\max }\{U_k\},\text{\hspace{1em}(17.38)}$$

其中 $U$ 是一个 $(m\times 1)$ 向量，其分量 $U_k$ 服从 $\mathrm{N}(0,\cdot )$ 分布。White 的高层假设与 West (1996) 中的假设类似，因此排除了一些有趣的案例，包括嵌套模型的比较。¹¹

即使我们能够刻画样本均值向量的极限分布，由于模型之间相关性所导致的未知协方差矩阵 $\cdot$ 的存在，我们也难以确定该向量最大值的分布。从检验的角度来看，$\cdot$ 是一个我们不关心的冗余参数，除非它影响关于预测性能的推断。White (2000) 通过设定高层假设（即损失向量渐近服从正态分布）并开发一种从 (17.38) 式中分布中抽取最大值并计算原假设为真时的 $p$ 值（$\mathrm{p}\cdot \mathrm{p}$）的自助法来解决这个问题。

为了理解自助法如何运作，设 ${\bar{d}}_k^b$ 为第 $b$ 次自助计算的平均差分损失，$b=1,\dots ,B$，并考虑以下统计量：

$${\bar{d}}_{\max ,m}=\underset{k=1,\dots ,m}{\max }\{T_p^{1/2}{\bar{d}}_k\},\text{\hspace{1em}(17.39)}$$

$${\bar{d}}_{\max ,m}^b=\underset{k=1,\dots ,m}{\max }\{T_{\gamma }^{1/2}({\bar{d}}_k^b-{\bar{d}}_k)\},b=1,\dots ,B.\text{\hspace{1em}(17.40)}$$

然后我们可以将 (17.39) 式中从实际数据得到的任意模型的最佳表现与 (17.40) 式中自助法的分位数进行比较，以获得 White 自助现实检验对 (17.36) 式中原假设的 $p$ 值。通过考虑跨 $m$ 个模型计算的相对损失最大值的抽样分布，我们解释了跨模型的数据挖掘效应。

White 建议使用 Politis 和 Romano (1994) 的平稳自助法来构造自助样本。平稳自助法从原始数据中重采样随机长度的块，使块长度从几何分布中抽取，该几何分布的平均块长度为 $1/q$。对于（时间序列）相关性较弱的数据，较大的 $q$ 值是合适的；而对于相关性较强的数据，则可以适当使用较小的 $q$ 值。

平稳自助法的抽样过程如下。定义一组随机时间索引集合 ${\tau }_t$，这些是介于 $T_R$ 和 $T$ 之间的数。然后每次自助 $b$ 生成一个样本估计量 $\begin{array}{r}{\bar{L}}_k^b={\sum }_{t=T_R}^{T}L(f_{k{\tau }_t-1},y_{{\tau }_t})\end{array}$，过程如下：

1. 令 $t=T_R+1$。从 $\{T_R+1,\dots ,T\}$ 中独立且均匀地随机抽取 ${\tau }_t={\tau }_{T_R}$。

2. 将 $t$ 增加 1。若 $t>T$，则停止。否则，独立于所有其他随机变量，抽取一个标准均匀随机变量 $U$。 a) 若 $U<q$，则从 $\{T_R+1,\dots ,T\}$ 中独立且均匀地随机抽取 ${\tau }_t$。 b) 若 $U\ge q$，通过设置 ${\tau }_t={\tau }_{t-1}+1$ 来扩展块；若 ${\tau }_t>T$，则重置 ${\tau }_t=T_R+1$。

3. 重复步骤 (2)。

由于该自助法只需要从预测误差（或更广泛地，从损失）中重采样，而不是从原始数据 $\{y_t,z_{t-1}\}$ 中重采样、重新估计预测模型以及生成预测和预测误差序列，因此易于实现。所以不涉及参数估计。

Hansen (2005) 指出，White (2000) 中的自助程序实际上意味着，在原假设下的假设是 $E[d_k({\beta }^{\ast })]=0$。他证明，如果 $E(\bar{d})$ 的最大值为负，那么 $T_p^{1/2}{\max }_{k=1,\dots ,m}{\bar{d}}_k\stackrel{p}{\to }-\infty$。因此，当基准模型优于所有其他模型时，我们以概率 1 获得一个退化分布。Hansen 的优越预测能力（SPA）检验通过标准化和重新定心检验统计量来修正现实检验。首先，他提出使用学生化检验统计量，

$$\mathrm{SPA}=\max \left[\underset{k=1,\dots ,m}{\max }\frac{T_{\hat{p}}^{1/2}{\bar{d}}_k}{{\hat{s}}_k},0\right],\text{\hspace{1em}(17.41)}$$

其中 ${\hat{s}}_k^2$ 是 $s_k^2=\mathrm{var}(T_p^{1/2}{\bar{d}}_k)$ 的一致估计量。其次，Hansen 的 SPA 检验将原分布建立在

$${\mathrm{N}}_m({\hat{\mu }}^c,\hat{\Omega }),\text{\hspace{1em}(17.42)}$$

$$\begin{array}{rl}\text{其中}& {\hat{\mu }}_k^c={\bar{d}}_{k}1\left(T_{\hat{p}}^{1/2}{\bar{d}}_k/{\hat{s}}_k\le -\sqrt{2\log \log (T_{\hat{p}})}\right),\end{array}$$

其中 1(·) 是指示函数。通过对表现较差模型的零分布进行重新中心化处理，分布在校零假设下变为依赖于样本的。该检验并未舍弃表现较差的模型（即指示函数等于 1 的模型），而是通过重新中心化来削弱其影响，同时保持 ${\hat{\mu }}_k^c=0$ 的模型的影响。

Hansen 给出的蒙特卡洛模拟表明，将这些修正应用于 Reality Check 检验统计量可以带来潜在的大幅功效提升。这些修正的重要性取决于具体的应用场景以及所考虑的"较差"预测模型的数量。即使在不存在明显劣质模型的情况下，对许多金融和经济时间序列使用如 (17.41) 式所示的学生化检验通常也是一个不错的选择。