第十六章第一节 平均损失的抽样分布

16.1 平均损失的抽样分布

良好的预测模型产生"较小"的期望损失，而糟糕的模型产生"较大"的期望损失，其中"较小"和"较大"的损失自然是相对于使用最优预测所产生的损失来定义的。¹为了评估一个预测模型，我们需要估计其期望损失。为此目的所使用的度量是样本平均损失。然而，这是一个随机变量，会在不同样本之间波动。给定样本中的较小平均损失可能仅仅是由于运气所致，也可能反映了一个真正良好模型的性能。为了区分这两种可能性，我们需要更多地了解平均损失的抽样分布。

在第3章的符号体系中，风险被定义为

$$R(\theta ,f)=E_{Y,Z}[L(f(Z),Y)],\text{\hspace{1em}(16.1)}$$

显然，在计算预测时理解与该预测相关的风险是有用的。虽然风险是不可观测的，但我们可以通过一系列预测和结果的平均损失来构建其估计

$$\{f_{t+h|t},y_{t+h}\},t=1,\dots ,T-h,$$

即

$$\hat{R}(f)=(T-h{)}^{-1}\sum _{t=1}^{T-h}L(f(z_t,{\hat{\beta }}_t),y_{t+h}).\text{\hspace{1em}(16.2)}$$

经验估计的期望损失的典型例子包括均方误差（MSE）或保留因变量单位的均方根误差（RMSE），或者平均绝对误差（MAE）。这些度量是基于预测误差的样本平均值

$$e_{t+h|t}=y_{t+h}-f_{t+h|t},$$

在样本 $t=1,\dots ,T-h$ 上测量的：

$$\mathrm{MSE}=(T-h{)}^{-1}\sum _{t=1}^{T-h}{e}_{t+h|t}^2,$$

$$\mathrm{RMSE}={\left((T-h{)}^{-1}\sum _{t=1}^{T-h}{e}_{t+h|t}^2\right)}^{1/2},$$

$$\mathrm{MAE}=(T-h{)}^{-1}\sum _{t=1}^{T-h}|e_{t+h|t}|.\text{\hspace{1em}(16.3)}$$

其他损失函数也有类似的样本类比。

除平均损失之外，有时还会报告其他度量，即使它们并不对应于任何特定的损失函数。有时预测误差会被因变量缩放，从而产生百分比误差 ${\mathrm{pe}}_{t+h|t}=e_{t+h|t}/y_{t+h}$，以及相关的均方根百分比误差（RMSPE），

$$\mathrm{RMSPE}={\left((T-h{)}^{-1}\sum _{t=1}^{T-h}{\mathrm{pe}}_{t+h|t}^2\right)}^{1/2}.\text{\hspace{1em}(16.4)}$$

除非基于预测者的损失函数，否则这些度量可以被视为非正式的描述统计量，可用于在一定程度上感知因变量的可预测程度以及预测误差的大小，其意义类似于回归模型中的标准误。然而，在解释这些样本平均值并基于其进行统计推断时，必须非常谨慎。

16.1.1 样本内预测评估

样本内或全样本预测使用从 $t=1,\dots ,T-h$ 的全部数据来估计模型参数 ${\hat{\mathbf{\beta }}}_T$，并评估基于这些估计构建的预测：

$$f_{t+h|T}=\hat{f}(z_t,{\hat{\beta }}_T).\text{\hspace{1em}(16.5)}$$

由于在实时构建时间 $t$ 的预测 $\hat{f}(z_t,{\hat{\mathbf{\beta }}}_t)$ 时，时间 $T>t$ 的数据在实时情况下是不可用的，因此这样的预测在实时中无法构建，从而是不可行的。然而，通过利用完整的数据集，这些预测有效地使用了在时间 $T$ 可用的所有数据，并消除了由模型参数修订引起的预测序列的变化。因此，这些预测代表了一个能够访问完整信息集（我们用 $Z_T$ 表示）的预测者可获得的最佳预测。

第6章表明，预测模型的样本内评估——即使用同一样本进行模型估计和预测评估的做法——会导致对过度参数化模型的偏倚。由于最小化的性质，样本内估计 ${\hat{\mathbf{\beta }}}_T$ 使平均损失的样本估计最小化，即

$$\hat{R}(f)=(T-h{)}^{-1}\sum _{t=1}^{T-h}L(f(z_t,{\hat{\beta }}_T),y_{t+h})\le (T-h{)}^{-1}\sum _{t=1}^{T-h}L(f(z_t,\beta ),y_{t+h}),\text{\hspace{1em}(16.6)}$$

对于任何 ${\hat{\mathbf{\beta }}}_T$（包括极限值 ${\beta }^{\ast }$）都成立。因此，样本内评估度量通常低估了无条件期望损失。

在许多情况下，$\hat{R}(f)$ 提供了对无条件期望损失的一致估计，因为参数估计误差通过方差项产生的影响会渐近消失。事实上，正如第4章所讨论的，估计误差在渐近意义上消失正是通过最小化预测损失来估计预测模型参数的做法得以成立的原因。如果样本内平均损失对无条件损失不是一致的，那么这将暗示我们应当使用不同的估计量。

样本内预测评估方法的一般问题在于，它们低估了真实的无条件期望损失，从而给出了一给定预测模型所产生的未来可能损失的不准确图景。这导致大多数研究者采用样本外预测方法来评估期望损失，这也是我们接下来要转向的主题。