6.4 交叉验证

6.4 交叉验证

交叉验证通常与序列估计量结合用于模型选择（参见第11章），但也更广泛地适用于模型选择。交叉验证的思想是通过消除导致估计的样本内损失因同时使用相同观测值进行参数估计和模型评估而"偏小"的相关性，来避免模型过拟合。与第16章讨论的样本外模型选择方法相反，交叉验证利用整个数据集进行估计和评估。该方法对从给定数据集可获得的所有可能的（或可能的子集）估计和评估样本组合进行平均。

最常见的交叉验证方法是针对独立数据开发的 ${\Pi }^{cc}leave-T_v-ou{t}^{77}$ 交叉验证估计量。该方法保留 $T_v=2v+1$ 个观测值用于模型评估，其余观测值用于参数估计。损失仅针对每个评估样本计算，并对用于模型评估的所有可能 $T_v$ 个数据点集重复此过程。在数据为独立同分布的情况下，此过程会产生大量可能的评估集，计算成本可能非常高。例如，将 $T$ 个观测值拆分为不同的评估样本（$T_v$）和估计样本（$T-T_v$）共有 $T!/((T-T_v)!T_v!)$ 种可能方式。对于序列相关的时间序列，保留样本通常被约束为连续观测，这使得平均损失的估计更为简单，因为只有 $T-T_v$ 种拆分样本的方式。对于每个观测值 $t$，在评估样本 $[t-v;t+v]$ 上评估损失，并对所有 $t$ 值求平均，省略样本两端因去除观测值后无数据的部分。MSE损失的交叉验证估计量为

$${\mathrm{CV}}_v=\frac{1}{T-2v-1}\sum _{t=v+1}^{T-v}\left\{\frac{1}{2v+1}\sum _{s=t-v}^{t+v}(y_{s+1}-f(z_s,{\hat{\beta }}_{\{t-v:t+v\}}){)}^2\right\},\text{\hspace{1em}(6.18)}$$

其中 ${\hat{\beta }}_{\{a:b\}}$ 是使用除 $a$ 到 $b$ 观测值之外的所有样本估计 $\hat{\beta }$ 的估计量，其中 $0<a<b<T$。模型选择通过在所有模型 $M_k\in {\mathcal{M}}_K$ 中选择使CV最小化的模型 ${\hat{M}}_k$ 来进行。

当数据序列独立时，该方法的有效性来自于参数估计将与评估样本独立这一事实。这打破了导致目标函数过拟合的联系。在大多数预测情境中，假设预测误差序列独立并不合理，这可能是因为某些模型被错误地设定。此外，$z_t$ 可能包含 $y_t$ 的滞后项，这会在估计和评估样本之间引入相关性。这需要去除每个估计日期周围足够的观测值，以确保估计和评估样本之间的相关性接近于0。Burman、Chow和Nolan（1994）以及Racine（2000）提出了实现此目的的方法。我们简要描述Racine的 ${\ell }^{\ast }v$ 块交叉验证方法。

Racine（2000）建议在验证样本的每侧省略 ${\ell }^{\ast }$ 个观测值，以抵消估计和评估步骤之间的任何依赖性。与 ${\Pi }^{cc}leave-n_v-ou{t}^{71}$ 交叉验证方法类似，在时间 $t$ 的前后使用 $v$ 个观测值的窗口，从而对每个 $t$ 产生 $2v+1$ 个观测值的验证样本进行平均。这意味着预测 $f(z_t)$ 基于除从 $s=(t-{\ell }^{\ast }-v)$ 到 $s=(t+{\ell }^{\ast }+v)$ 的观测块之外的所有观测值。在MSE损失下，交叉验证的平均损失统计量为

$$\begin{array}{rl}\mathrm{CV}=& \frac{1}{T-2v-1-2{\ell }^{\ast }}\\ & \times \sum _{t={\ell }^{\ast }+v+1}^{T-v-{\ell }^{\ast }}\frac{1}{2v+1}\sum _{s=t-v}^{t+v}(y_{s+1}-f(z_s,{\hat{\beta }}_{\{t-{\ell }^{\ast }-v:t+{\ell }^{\ast }+v\}}){)}^2.\end{array}\text{\hspace{1em}(6.19)}$$

该方法需要选择两个参数，${\ell }^{\ast }$ 和 $v$。Racine建议的一条规则是设定 ${\ell }^{\ast }=0.25T$，并使用等于 $T^{1/2}$ 整数部分的评估样本。

例6.4.1（样本均值估计的MSE损失）。 假设使用样本均值 ${\bar{y}}_T=T^{-1}{\sum }_{t=1}^T{y}_t$ 来预测具有 $T$ 个观测值的独立同分布时间序列 $y_t$。如果我们使用相同的数据样本来估计样本均值并评估平均MSE损失，我们有

$$\begin{array}{c}{T}^{-1}\sum _{t=1}^T(y_t-{\bar{y}}_T{)}^2=T^{-1}\sum _{t=1}^T((y_t-\mu )-({\bar{y}}_T-\mu ){)}^2\\ \\ =T^{-1}\sum _{t=1}^T{\epsilon }_t^2+({\bar{y}}_T-\mu {)}^2-2({\bar{y}}_T-\mu )T^{-1}\sum _{t=1}^T(y_t-\mu )\\ \\ =T^{-1}\sum _{t=1}^T{\epsilon }_t^2-({\bar{y}}_T-\mu {)}^2.\end{array}\text{\hspace{1em}(6.20)}$$

因此，样本内估计误差的平方$({\bar{y}}_T-\mu {)}^2$被减去，而非加到平均样本内损失上。出现这种情况是因为交叉项在样本外时期期望等于0，但此处等于$-({\bar{y}}_T-\mu {)}^2$。交叉验证试图通过打破预测误差与样本内时期产生的估计误差之间的相关性来消除该交叉项。它通过将用于估计预测模型参数（此处为样本均值）的观测值与用于评估平均损失的观测值分离来实现这一点。

在独立同分布数据的情形下，经典的交叉验证方法是"留一法"。虽然该方法与预测关联不大，但它有助于说明如何使用该方法来消除交叉项。

例6.4.2（样本均值的交叉验证）。对于每个时点$t$，假设使用样本均值${\bar{y}}_{\{-t\}}$作为估计量，其中${\bar{y}}_{\{-t\}}=(T-1{)}^{-1}{\sum }_{s=1,s\ne t}^T{y}_s$，即在$t$时刻估计样本均值时省略观测值$y_t$。由于省略了$y_t$，该项现在与$y_t$独立。具体地，我们有

$$T^{-1}\sum _{t=1}^T(y_t-{\bar{y}}_{\{-t\}}{)}^2=T^{-1}\sum _{t=1}^T{\epsilon }_t^2+\sum _{t=1}^T({\bar{y}}_{\{-t\}}-\mu {)}^2-2T^{-1}\sum _{t=1}^T({\bar{y}}_{\{-t\}}-\mu ){\epsilon }_t.\text{\hspace{1em}(6.21)}$$

由独立性假设，交叉项现在的期望为零，倾向于"较小"。"留一法"的代价是(6.21)中的第二项与我们用于预测的${\bar{y}}_t$的值不同。这导致期望损失存在微小差异，或者在渐近意义上，期望平均损失具有不同的二阶项。为说明这一点，注意到如果重新整理(6.21)并忽略期望为0的项，我们有

$$E\left[T^{-1}\sum _{t=1}^T(y_t-{\bar{y}}_{\{-t\}}{)}^2\right]=T^{-1}\sum _{t=1}^{T}E[{\epsilon }_t^2]+\sum _{t=1}^{T}E[({\bar{y}}_{\{-t\}}-\mu {)}^2].\text{\hspace{1em}(6.22)}$$

现在，

$$E[({\bar{y}}_{\{-t\}}-\mu {)}^2]=(T-1{)}^{-2}E\left[\sum _{s=1,s\ne t}^T{\epsilon }_s^2\right]=\frac{{\sigma }^2}{T-1},\text{\hspace{1em}(6.23)}$$

因此

$$E[({\bar{y}}_{\{-t\}}-\mu {)}^2]={\sigma }^2\left(1+\frac{1}{T-1}\right).\text{\hspace{1em}(6.24)}$$

如果我们改用通常的预测${\bar{y}}_t$，期望平均损失将是${\sigma }^2(1+T^{-1})$，差异源于我们少使用了一个观测值。这种偏差随预测模型的规模增大而增大；例如在线性回归中，若有$n_k$个回归变量，留一损失的偏差将是${\sigma }^2(T-n_k{)}^{-1}$而非${\sigma }^2(T-1{)}^{-1}$。然而，估计损失与真实损失之间的差异的阶数低于样本内评估的阶数。