16.3 对样本外平均损失进行推断

16.3 对样本外平均损失进行推断

上一节描述的模拟（或"伪"）样本外（OoS）方法试图模拟大多数预测所依据的实时更新方案。其基本思想是将数据划分为一个初始估计样本（样本内期间）和一个后续评估样本（样本外期间）。预测基于仅使用到计算预测日期为止的数据所得到的参数估计。随着样本的扩展，模型参数不断更新，从而产生一系列预测。将实现值与这些预测进行比较，我们可以计算出平均损失。

West（1996）提供了主要的结果集，确立了估计损失在扩展（递归）、滚动和固定估计窗口下同时具有一致性和渐近正态性的条件。这些假设涉及对数据生成过程的常规限制，但对预测模型的形式施加了进一步的限制。该分析假设用于估计 ${\hat{\mathbf{\beta }}}_t$ 的初始样本具有 $T_R$ 个观测值，并且这允许构造 $T_P=T-T_R-h$ 个样本外预测误差，其中 $h$ 是预测期。如果使用完整样本进行参数估计，则每个预测都使用 ${\hat{\mathbf{\beta }}}_T$ 进行计算。

设 $l_{t+h|t}(\beta )=L(f(z_t,\beta ),y_{t+h})$ 为损失向量，其各个元素记为 $l_{t+h|t,i}(\beta )$。观测到的损失依赖于参数估计 ${\hat{\mathbf{\beta }}}_t$，记为 $l_{t+h|t}({\hat{\beta }}_t)$。分析要求存在用于生成预测的模型的伪真实向量 ${\beta }^{\ast }$；${\beta }^{\ast }$ 是 ${\hat{\mathbf{\beta }}}_t$ 当样本量非常大时的极限值。将 $l_{t+h|t}({\beta }^{\ast })$ 定义为在该伪真实值处计算的损失函数，而 $F=E[\partial l_{t+h|t}(\beta )/\partial \beta ]$ 为在 ${\beta }^{\ast }$ 处计算的导数。此外，设 ${\eta }_{t+h}$ 为用于估计模型参数的正交条件，因此 ${\eta }_{t+h}({\beta }^{\ast })$ 是一个零均值过程。以下假设总结了 West 结论所需的技术条件（West，1996，定理 4.1）。

1. 函数 $l_{t+h|t}(\beta )$ 在 ${\beta }^{\ast }$ 的某个邻域内二次可微。

2. 估计量 ${\hat{\mathbf{\beta }}}_t$ 可以写成满秩的矩型估计量。具体地，${\hat{\beta }}_t-{\beta }^{\ast }=B(t)H(t)$，其中 $B(t)$ 为 $k\times q$ 维，$H(t)$ 为 $q\times 1$ 维，且 $B(t)\stackrel{as}{\to }B$，$B$ 的秩为 $k$；$H(t)=(t-h{)}^{-1}{\sum }_{s=1}^{t-h}{\eta }_{s+h}({\beta }^{\ast })$；并且 $E[{\eta }_s({\beta }^{\ast })]=0$。

3. 二阶导数 $|{\partial }^2{l}_{t+h|t}(\beta )/\partial \beta \partial {\beta }^{\prime }|$ 有界。

4. 导数 $\partial l_{t+h|t}(\beta )/\partial \beta$ 在伪真实值 ${\beta }^{\ast }$ 处计算时满足一定的混合、矩和平稳性条件。此外，定义 $\Gamma (j)=E[(l_{t+h|t}({\beta }^{\ast })-E[l_{t+h|t}({\beta }^{\ast })])(l_{t-j+h|t-j}({\beta }^{\ast }{)}^{\prime }-E[l_{t-j+h|t-j}({\beta }^{\ast }{)}^{\prime }])]$，并假设 $S_y(0)={\sum }_{j=-\infty }^{\infty }\Gamma (j)$ 为正定矩阵。

5. 我们有 $T_R,T_P\to \infty$ 且 $T_P/T_R\to \pi$。当 $0<\pi <\infty$ 时，定义 $\Pi =1-\ln (1+\pi )/\pi$；当 $\pi =0$ 时，$\Pi =0$；当 $\pi =\infty$ 时，$\Pi =1$。

在假设 (1)–(5) 下，West（1996）建立了如下结论：

$$T_P^{-1/2}\left(\sum _{t=T_R}^{T-h}{l}_{t+h|t}({\hat{\beta }}_t)-E[l_{t+h}({\beta }^{\ast })]\right)\stackrel{d}{\to }\mathrm{N}(0,\Omega ),$$

其中，一般地，

$$\Omega =S_y(0)+\Pi (FB{S}_{yh}^{\prime }(0)+S_{yh}(0)B^{\prime }{F}^{\prime })+2\Pi F{V}_{\beta }{F}^{\prime },\text{\hspace{1em}(16.14)}$$

且 $S_{yh}(0)={\sum }_{j=-\infty }^{\infty }E[{\eta }_t{\eta }_{t-j}^{\prime }]$，$V_{\beta }$ 为估计量的极限方差–协方差矩阵，即渐近地 $T^{1/2}(\hat{\beta }-\beta )\stackrel{d}{\to }\mathrm{N}(0,V_{\beta })$。如果 $\pi =0$ 或 $F=0$，则 $\Omega =S_y(0)$。

该结论确立了渐近地，只要使用正确的（渐近有效的）$\Omega$ 估计量，我们就可以使用标准正态分布对预测准确性进行推断。由 (16.14) 式可知，$\Omega$ 由三个部分组成：$S_y(0)$ 是在已知模型参数下损失的长期方差，第三项反映了参数估计如何影响损失的方差，而第二项反映了第一项和第三项之间的协方差。由于第二项和第三项反映了估计误差，它们将依赖于底层的估计方案——固定、滚动或扩展——通过 $\Pi$ 来体现。

为了理解这个结果，回顾证明的直观思路是有帮助的。该证明通过对每个数据点的伪真实参数值 ${\beta }^{\ast }$ 附近的平均样本外 (OoS) 损失进行展开来工作。West 定理中的假设 (1) 允许围绕 ${\beta }^{\ast }$ 进行中值定理展开，从而对于某个中间值 $\tilde{\mathbf{\beta }}$，

$$\begin{array}{rl}& l_{t+h\mid t}({\hat{\mathbf{\beta }}}_t)=l_{t+h\mid t}({\mathbf{\beta }}^{\ast })+{\frac{\partial l_{t+h\mid t}(\mathbf{\beta })}{\partial \mathbf{\beta }}|}_{{\mathbf{\beta }}^{\ast }}{}^{{}^{\prime }}({\hat{\mathbf{\beta }}}_t-{\mathbf{\beta }}^{\ast })\\ & +\frac{1}{2}({\hat{\mathbf{\beta }}}_t-{\mathbf{\beta }}^{\ast }{)}^{{}^{\prime }}({\frac{{\partial }^2{l}_{t+h\mid t}(\mathbf{\beta })}{\partial \mathbf{\beta }\partial {\mathbf{\beta }}^{{}^{\prime }}}|}_{\tilde{\mathbf{\beta }}})({\hat{\mathbf{\beta }}}_t-{\mathbf{\beta }}^{\ast }).\end{array}\text{\hspace{1em}(16.15)}$$

(16.15) 中的第一项是在伪真实值处评估的平均损失的贡献，即参数已知时的平均损失。在 West 的条件下，这项收敛于其期望值，并对协方差矩阵贡献 $S_y(0)$ 项。这类似于平稳序列均值的通常协方差。(16.15) 中的第二项涉及 $({\hat{\mathbf{\beta }}}_t-{\mathbf{\beta }}^{\ast })$ 项，由于参数估计会周期性更新，因此该项不一定恒等于 0。在某些情况下，该项不仅非零，而且在以 $T^{1/2}$ 缩放时不会渐近消失，从而导致 (16.14) 中方差的附加项。(16.15) 中的第三项涉及 $({\hat{\mathbf{\beta }}}_t-{\mathbf{\beta }}^{\ast })$ 的二次项，也不会渐近消失。

当 (16.15) 中的第二项和第三项等于 0 时，估计误差不会对平均样本外损失的方差产生影响，因此结果仅捕捉一阶效应，而忽略 $T^{-1}$ 阶的项，如参数估计误差。在这种情况下，样本内和样本外的平均损失具有相同的均值和近似相同的方差，这使得难以确定何种方法通常是评估预测性能的更好方式。

一个特别值得关注的情况是，当参数估计和预测评估使用相同的损失函数（例如平方误差损失）时。在这种情况下，West 方差中的额外项消失了，因此表达式大大简化。

当 West 定理适用时，$\hat{R}(f)\stackrel{p}{\to }E[L_{t+h}]$，因此该结果表明估计的平均损失是实际平均损失的一致估计量。

West 的结果处理的是关于在模型参数的总体值 ${\beta }^{\ast }$ 处评估的期望损失的推断，即 $E[L_{t+h\mid t}({\beta }^{\ast })]$。复杂性在于推断不能基于未观测到的参数总体值，而必须基于有限样本信息，其中参数估计误差可能发挥重要作用。

West 的结果不涉及模型有限样本预测能力的推断，这与模型在当前参数值处评估的期望损失 $E[L_{t+h\mid t}({\hat{\mathbf{\beta }}}_t)]$ 有关。这种情况由 Giacomini 和 White (2006) 进行了研究。

West (1996, 表 2) 给出了一个带有外生回归元的动态双变量模型的蒙特卡洛结果。对于他的设计，$\Omega \ne S_c(0)$，因此方差-协方差矩阵应在构造预测时考虑参数估计误差。在一系列情况下，West 表明，如果没有这种修正，检验的尺寸可能远大于其名义尺寸，例如拒绝率为 20-50% 而不是 5%。在考虑了估计误差的修正后，除非初始回归模型中的观测数量较少，否则尺寸得到良好控制。具体而言，如果 $T_p$ 较小，则检验尺寸不足；如果 $T_p$ 相对较大，则检验尺寸过度。