15.1 非正式评估方法

15.1 非正式评估方法

经济学中有一个悠久的传统,即通过检查模型的预测表现来评估其有用性和拟合程度。Theil(1961)考虑了非正式的图形方法,而Mincer和Zarnowitz(1969)、Fair和Shiller(1989,1990)以及Meese和Rogoff(1983)则提出了更正式的预测误差检验。Wilson(1934)是预测评估的早期例子。有关宏观经济预测评估技术的广泛讨论,请参见Stekler(1991)。

非正式的预测评估方法通常可以为更正式的方法提供良好的前奏,并有助于指出预测可能失败的方式。用于非正式检验一序列预测"拟合优度"${}^{†}$的主要方法包括图形方法和预测误差分解。我们首先描述这些方法,然后在后续章节中转向更正式的评估方法。

15.1.1 散点图和时间序列图

检验预测与结果接近程度的最常见图形方法是时间序列图,该图将一序列预测和结果 $\{f_{t+h|t},y_{t+h}\},t=1,\dots ,T-h$ 相对于预测制定的日期 $t$ 或结果观察到的日期 $t+h$ 进行绘制,其中 $h>0$ 是(整数值的)预测期限。两条线之间的垂直差异表示预测误差。样本中这些差异持续同号和/或异常大的点表明预测表现不佳的时期,并可能预示着预测的失败。然而,这些图可能会给预测表现带来一种虚假的良好感觉。当被预测变量具有高度持续性时,简单的自回归模型通常会生成看起来密切跟踪结果的预测,即使这些预测可能相对较差。例如,考虑股票价格的预测,股票价格大致遵循随机游走,因此今天对明天股票价格的预测就是今天的股票价格。这并不是一个特别有信息量的预测——事实上,它不包含有关股票价格未来变化方向的任何信息。预测值与实际值的时间序列图可能会掩盖这一点,因为从这些图中难以读出预测误差的典型大小。对于持续性较低的变量,时间序列图有助于识别预测与结果之间明显的领先—滞后关系。

GDP增长率

通货膨胀率

图15.1:实际值与联邦储备委员会Greenbook对下季度GDP增长和通货膨胀率预测的时间序列图。

作为这些时间序列图的示例,考虑联邦储备委员会所谓的Greenbook预测与随后结果的关系。Greenbook预测是联邦储备委员会政策制定过程的一部分,仅在五年后才予以发布。图15.1绘制了下季度($h=1$)Greenbook对GDP增长和通货膨胀的预测与这些变量实际值的时间序列。预测比结果更平滑,正如预测反映结果的条件期望时所预期的那样,但大致跟踪了GDP增长和通货膨胀的水平。

Theil(1961)基于序列 $\{f_{t+h|t},y_{t+h}\},t=1,\dots ,T-h$ 的散点图,提出了几种用于分析预测及其与结果接近程度的替代图形方法。首先考虑预测相对于结果的散点图。$45^{\circ }$线代表 $f_{t+h|t}=y_{t+h}$ 的情况,因此与$45^{\circ }$线的偏差衡量预测误差的大小。将预测置于$x$轴上,任何一点到$45^{\circ }$线的垂直距离就是预测误差,因此该线之上(之下)的点表示预测低估(高估)了结果。该散点图有助于理解预测误差的大小,因为$y$轴的刻度以与结果相同的单位来衡量。还可以容易地获得预测误差的变化(与$45^{\circ }$线的偏差)相对于结果变化(沿$y$轴的变化)。在结果难以预测且预测变化不大的情况下,会显示$y$轴方向上的大变化和$x$轴上的小变化。在预测变化远大于结果变化的情况下,则会出现相反的情况,即$x$轴方向上的大变化和$y$轴上的较小变化。例如,非线性预测模型有时会产生极端预测,这些预测将作为$x$轴上的异常值显示出来。这类散点图的第三个用途是,它可以揭示关于系统性高估或低估方向的新信息。例如,当结果较大时倾向于高估的现象将显示为散点图右上角中系统性位于$45^{\circ }$线上方的点。最后,结果—预测散点图给出了预测分散程度的印象,以及这种分散是否取决于结果变量或预测。这同样可以用于指示结果变量的哪些范围内预测良好,而哪些范围内预测较差。

回到美联储绿皮书的预测，图15.2给出了GDP增长和通货膨胀预测与实际结果的散点图。尽管预测误差有时非常大，但显然预测值与GDP增长的实际值之间存在显著的正相关关系。对于通货膨胀序列，预测与结果之间的关系则略显薄弱。

除了绘制预测值 $f_{t+h|t}$ 与实际结果 $y_{t+h}$ 的散点图外，另一种方法是构建预测变化量 $f_{t+h|t}-y_t$ 与实际变化量 $y_{t+h}-y_t$ 的散点图。在此图中，$45°$ 线仍代表完美预测，而四个象限则提供了方向准确性的指示。右上象限（沿 $f$ 轴和 $y$ 轴排列）的点表示预测正确地指出了结果的上升方向。同样，左下象限的点表示预测正确地指出了结果的下降方向。其余象限则表示预测方向错误的情况。因此，该图根据方向准确性将预测误差分解为不同组别。

作为示例，图15.3绘制了绿皮书数据在提前一季度情况下的实际方向与预测方向，即 $y_{t+1}-y_t$ 对 $f_{t+1|t}-y_t$ 的散点图。这里的正相关关系表明美联储有能力预测GDP增长或通胀率是上升还是下降。再次，GDP序列出现了强烈的正相关关系。尽管通胀率序列的相关系数也为正，但这种关系明显较弱。

其他图形可以基于预测误差 $y_{t+h}-f_{t+h|t}$ 绘制。对于许多损失函数而言，预测误差的简单变换应当是不可预测的。例如，在平方误差损失下，预测误差应具有零均值且序列不相关。这意味着提前一期预测误差的时间序列不应呈现出持续为负或持续为正的时期。我们在图15.4中展示了绿皮书对GDP增长和通胀率预测的这一性质。虽然GDP增长预测误差中没有明显的持续性证据，但通胀序列的预测误差似乎存在序列相关。

图15.2：实际值与美联储绿皮书对下季度GDP增长和通胀率预测的散点图。

图15.3：实际值变化量与美联储绿皮书对下季度GDP增长和通胀率变化量预测的散点图。

图15.4：提前一季度预测误差（实际值减去美联储绿皮书预测值）对GDP增长和通胀率的时间序列图。

预测误差分布的密度图也可用于揭示偏差的证据，特别是当分布不接近以0为中心时。作为示例，图15.5显示了GDP增长和通胀率预测误差密度的核平滑图。虽然通胀率预测误差的密度在负值处达到峰值，但该分布明显呈右偏。