16.6 结论

对由调查数据或计量经济模型生成的预测序列进行评价是常见的做法。此类评价不同于计量经济学中传统的设定分析，因为它们通常针对样本外预测进行。样本外预测将信息集——包括用于估计模型参数的数据——限制在生成预测时所能获得的数据范围内。随着新数据的到来，参数通常会使用最新数据进行重新估计。这种样本外方法旨在模拟预测者在"实时"条件下生成的预测，并尽可能避免前瞻性偏差。

当学习效应较为重要——因为预测模型的参数是随时间递归更新的，且估计窗口不是很大时，在对基础预测模型的理性进行推断时需要特别谨慎。West（1996）以及 West 和 McCracken（1998）的研究结果解决了这些问题，尽管这些研究对用于生成预测的模型类型施加了严格的限制。

多重预测的评价与比较

在许多情况下，可以获得同一结果的两种或更多竞争性预测，我们往往希望对这些预测进行比较。我们可能感兴趣的是判断一种预测是否优于另一种预测，或者它们是否产生类似的损失。如果存在两种以上的预测，我们可以探究是否存在某一种预测能够支配所有其他预测。

事实上，对于同一结果的预测，我们常常面临"富足的尴尬"。即使使用相同的数据，前述章节中讨论的许多预测方法也可用于构建同一结果的不同预测。使用不同的数据集进一步丰富了可用于预测结果的预测集合。例如，ARIMA 模型或朴素的"无变化"模型通常被用来生成基准预测，以便与更复杂的预测方法进行比较。

考虑有 $m$ 种竞争性预测的情形，每种预测都产生一个风险函数，我们可以将其堆叠为一个 $(m\times 1)$ 向量：

$$R(\theta ,f)=E_{Y,Z}\left[L(f(Z),Y)\right]。\text{\hspace{1em}(17.1)}$$

选择预测的一种常见方法是选取期望损失最小的方法。也可以考察其他准则，例如一种预测对另一种预测的随机占优关系。这些问题可以使用风险的经验模拟来考察，风险此前定义为：

$$\hat{R}(f)=(T-h{)}^{-1}\sum _{t=1}^{T-h}L(f(z_t,{\hat{\beta }}_t),y_{t+h})。\text{\hspace{1em}(17.2)}$$

由于我们拥有预测向量，因此这现在是一个 $(m\times 1)$ 的估计风险向量，$\hat{R}(f)$ 是一个与预测向量 $f$ 维度相同的向量。

假设我们正在比较两种或多种预测方法的性能，并希望找出在某一样本期内哪种方法优于其他方法。在损失差序列满足某些平稳性条件的前提下，我们可以使用 Diebold 和 Mariano（1995）的结论，他们基于样本平均损失的均值差异，发展了用于检验等预测能力的简单回归类检验。

相反，假设我们感兴趣的是利用两种或多种预测模型生成的预测序列来回答哪个模型对数据的拟合更优。这需要考虑（17.2）式中的预测 $f(z_t,{\hat{\beta }}_t)$ 是由估计量构造的，因此预测构造过程中的估计误差可能会对平均风险估计的抽样分布产生影响。当然，这与仅有单一预测的情形是平行的。当使用样本外方法生成预测时，可以应用 West（1996）以及 West 和 McCracken（1998）的结论，因为这些结论是针对损失向量推导的。然而，也有可能出现两种或更多预测渐近等价的情况，此时极限风险的方差—协方差矩阵不是满秩的。当两个或更多模型嵌套了真实模型时，就会发生这种情况。在此情形下，两个模型的参数收敛到同一点，因而它们的预测渐近等价。第二种情形出现在两个线性预测模型中，其中第一个模型是最佳预测器，第二个模型包含与第一个模型相同的预测变量以及额外的无关变量。这些无关变量上的系数估计将渐近收敛于零，从而使两个模型变得相同。West（1996）以及 West 和 McCracken（1998）排除了这些可能性，在这种情况下他们的结论不能被采用。此时需要采用检验统计量的其他近似方法。

两种预测方法预测精度的比较可能导致三种结果。第一，一种预测方法可能完全支配另一种方法，在这种情况下我们将选择支配性的方法。一种方法支配另一种方法的概念通常被称为"包容性"（encompassing）。Hoel（1947）似乎最早考虑了这个问题，Chong 和 Hendry（1986）对理解包容性检验做出了重要推进。第二，某种预测可能是最优的，但并未包含第二种预测中可用的所有有用（与预测相关的）信息。在这种情况下，我们可能不希望舍弃第二种预测。第三，两种预测方法可能达到相同的期望损失，在这种情况下我们对两种方法将没有偏好，并可能希望使用组合预测，正如第 14 章中所讨论的。

本章首先考察比较两种预测的方法，文献中已有许多相关成果。此类比较提出的两个基本问题是：第一，是否一种预测在意义上主导——或用预测术语来说——涵盖另一种预测？第二，两组预测序列所产生的损失在平均意义上是否相同？这两个问题分别在第17.1节（预测涵盖检验）和第17.2节（使用Diebold–Mariano检验的等损失检验）中加以讨论。第17.3节介绍Giacomini和White（2006）提出的预测方法比较思路，第17.4节讨论嵌套模型下预测绩效的比较。第17.5节将分析扩展到涉及多个预测模型的比较。第17.6节讨论在比较多个预测模型时应对数据挖掘的方法，第17.7节涵盖近期用于识别优越预测模型的逐步方法。样本分割在样本外预测评估实验中的选择在第17.8节中讨论，第17.9节将预测评估问题与预测组合及模型选择问题相联系，第17.10节比较样本内方法与样本外方法。第17.11节进行总结。

在本章中，我们主要假设单期预测时域，因此设 $h=1$。对于直接预测模型而言，时域对大多数结果影响不大，这一假设有助于我们简化符号表达。