1.1.3 第三部分

1.1.3 第三部分

本书第三部分讨论预测评估方法。预测方法的评估是预测问题的核心，而此步骤所涉及的困难既解释了为什么对于任何特定结果的预测都存在大量被提出的方法，也解释了为什么需要对预测方法进行仔细评估。

为了理解这一核心问题，考虑一个简单的问题：在独立同分布数据序列 $y_t$，$t=1,\dots ,T$（均值为 $\mu$、方差为 ${\sigma }^2$、且无解释变量）中预测下一个结果 $y_{T+1}$。众所周知，在均方误差（MSE）损失下，最佳预测是均值 $\mu$ 的一个估计量，例如样本均值 ${\bar{y}}_T=T^{-1}{\sum }_{t=1}^T{y}_t$。由于结果 $y_{T+1}$ 是一个以 $\mu$ 为中心的随机变量，即便我们对 $\mu$ 有一个完美估计（即我们知道 $\mu$），只要 ${\sigma }^2>0$，预测值通常与实际结果不同。因此，观察到单个远离预测值的结果并不一定表明预测效果较差。更一般而言，预测评估方法必须处理这样一个事实：（在期望意义上）样本内平均损失与样本外平均损失是不同的。为了说明这一点，假设我们使用样本均值作为预测值。对于任何样本内观测值，$t=1,\dots ,T$，预测（或拟合值）的 MSE 为

$$\begin{array}{l}E[y_t-{\bar{y}}_T{]}^2=E{\left[(y_t-\mu )-T^{-1}{\sum }_{t=1}^T(y_t-\mu )\right]}^2\\ ={\sigma }^2\left(1+\frac{T}{T^2}-2\frac{1}{T}\right)\\ ={\sigma }^2(1-T^{-1}).\end{array}$$

这里第二行中的第三项来自计算第一行平方项时的交叉乘积。

相比之下，$y_{T+1}$ 的样本外预测的 MSE 为

$$\begin{array}{l}E[y_{T+1}-{\bar{y}}_T{]}^2=E{\left[(y_{T+1}-\mu )-T^{-1}{\sum }_{t=1}^T(y_t-\mu )\right]}^2\\ ={\sigma }^2\left(1+\frac{T}{T^2}\right)\\ ={\sigma }^2(1+T^{-1}).\end{array}$$

这里没有交叉乘积项。比较这两个表达式，我们看到估计误差降低了样本内 MSE，但增加了样本外 MSE。在两种情况下，这些项的阶数都是 $T^{-1}$，因此这种差异在渐近意义上消失。然而，在许多预测问题中，这个较低阶项无论在统计上还是经济上都很重要。当我们考虑对结果的多种不同模型时，各模型之间 MSE 的差异与估计误差的影响处于同一阶数。这使得模型之间难以区分，这也是模型选择如此困难的原因之一。样本内拟合通过使用过度参数化模型而改善，而样本外预测精度可能因使用此类模型而降低，这一认识有力地推动了样本外评估方法的使用，尽管正如本书第三部分所讨论的，仍有一些注意事项。

在过去 20 年中，许多新的预测评估方法得到了发展。在这些方法发展之前，大多数关于预测绩效评估和排序的学术研究几乎没有考虑到预测是通过递归估计模型获得的这一事实。因此，研究通常使用针对特定经验数据集计算的样本均方预测误差来给出模型表现的估计，而不附带标准误。这种方法的一个明显局限在于，这些平均值通常是对数据非常复杂函数的平均。由于依赖于估计参数，这些平均值在时间维度上也通常以复杂的方式相关，从而给标准检验统计量带来相当复杂的分布。对于某些以递归方式生成预测的较简单方法，近期的论文推导了由此产生的标准误，但要将这些结果扩展到许多实际中常用的预测方法，仍有大量工作要做。

第 15 章首先确立了良好预测在底层损失函数背景下应具备的性质，并讨论了如何在实践中检验这些性质。该章从对损失函数几乎不能施加任何结构的情形，过渡到损失函数已知至一个小的参数集的情形。在后一种情形下，可以检验关于预测的损失导数（即所谓的广义预测误差）在给定当前信息时是不可预测的。该章还展示了关于损失函数的假设如何与关于底层数据生成过程的可检验假设进行权衡。

第 16 章概述了预测评估中的基本问题，并介绍了非正式方法。该章考察了来自单一模型的一序列预测的评估。预测效率检验的临界值取决于预测的构造方式，特别是取决于使用的是固定、滚动还是扩展的估计窗口。

第17章将单一模型预测表现的评估扩展到存在多个待考察预测的情形，从而探讨何种预测方法（若有）是最佳的。我们将综述比较预测方法的途径以及检验假设的策略，这些策略有助于识别在实践中表现良好的方法。特别关注嵌套预测模型的情况，即一个模型包含另一个基准模型的所有项以及一些额外信息的情形。我们区分等预测精度检验和预测包络检验，后者指一个预测优于另一个预测的情形。我们还将讨论如何检验在众多（可能数千个）预测中表现最佳的预测是否真正优于某个基准。

第18章考察分布预测的评估。一个出现的困难在于我们无法观察到结果的密度；只能观察到来自该分布的单个抽样值。人们已提出各种方法来解决这一问题，包括对数评分和概率积分变换。我们将讨论这些方法以及评估密度预测的基本特征是否与数据相符的途径。