17.11 结论

预测者通常会使用多个相互竞争的模型，或从调查数据中观察多个预测。在这种情况下，不仅需要使用第15章和第16章的方法来询问各个预测是否"最优"，还应探讨是否存在一个占主导地位的预测模型，或者是否存在一组优于其他模型的模型（如模型置信集中所示）。

评估密度预测

第12章和第13章考虑了提供预测分布 ${\hat{p}}_Y(y_{t+h}|z_1,\dots ,z_t)$ 而非点预测的情况。本章考察如何评估此类预测密度。对于单一密度预测，这意味着评估该密度是否被正确设定并能产生良好的预测表现。如果存在多个密度预测，我们可能希望对它们进行比较，并可能选择最佳的。尽管密度预测评估的思想与点预测的评估相类似，但关于密度预测评估的文献发展尚不够成熟。

评估密度预测时出现的主要困难在于：我们实际上从未观察到结果的密度；只能观察到来自该分布的单一抽取值。更为复杂的是，当我们在一段时间内观察结果时，预测变量会发生变化，因此我们获得的密度预测 ${\hat{p}}_{Y_t}(y_{t+h})={\hat{p}}_Y(y_{t+h}|z_1,\dots ,z_t)$ 和结果 $y_{t+h}$ 是以不同的 $z_t$ 值为条件的。

评估密度预测的一种方法是明确依赖一个损失函数，该函数将密度预测和结果映射为一个单一数值，可作为考察平均损失的基础。此类损失函数通常被称为评分规则，尤其在统计学文献中如此，并在第2章和第13章中进行了讨论。损失函数的选择应针对特定预测者的问题，因为不同的预测者可能使用不同的损失函数。然而在实践中，大多数研究依赖于少数几种损失函数，其中最流行的是对数评分，即在某些分布假设下的平均似然。其他将密度预测和结果映射为单一数值的方法并未明确使用损失函数，但会产生在各种误差类型之间进行权衡的统计量。

第二种方法关注密度预测的理想性质，如校准、锐度或与结果分布函数的匹配。这些特征通常被分别考察，"良好的"密度预测应尽可能多地具备这些理想性质。

18.1节讨论了基于损失函数的密度评估方法。密度预测有时使用校准、分辨率和锐度等特征进行评估。18.2节涵盖了这部分内容。概率积分变换检验使用了完整密度的信息，将在18.3节中介绍。18.4节涵盖多类别预测，18.5节讨论如何评估区间预测，18.6节为本章结论。再次声明，为保持记号简洁，我们重点关注单期预测范围 $h=1$ 的情形。