18.1.1 单个密度预测的评估

18.1.1 单个密度预测的评估

为了对密度预测进行实证评估，我们需要一组已实现的结果序列和密度预测 $\{y_{t+1},{\hat{p}}_{Yt}(y_{t+1})\},t=1,\dots ,T-1$。一种可行的方法是先将密度预测转化为点预测，然后使用第16章中讨论的点预测评估方法。使用这种方法，我们首先根据密度预测 ${\hat{p}}_Y(y_{t+1}|Z_t)$ 和损失函数 $L(f({\hat{p}}_{Yt}(y_{t+1})),y_{t+1})$ 生成该密度预测所隐含的最优点预测 $f({\hat{p}}_{Yt}(y_{t+1}))$。例如，在MSE损失下，点预测 $f(z_t)$ 就是利用 ${\hat{p}}_{Yt}(y_{t+1})$ 计算出的 $y_{t+1}$ 的条件均值。与该密度预测相关联的平均损失变为

$${\hat{L}}_T=(T-1{)}^{-1}\sum _{t=1}^{T-1}L(f({\hat{p}}_{Yt}(y_{t+1})),y_{t+1}),\text{\hspace{1em}(18.1)}$$

其形式即为第16章中所讨论的平均损失。

这种评估密度预测的简单方法在多种情况下可能是合适的。首先，正如我们在第13章中所见，密度预测的合理性可以基于存在多个具有不同损失函数的使用者这一事实。任何一位使用者都可以针对其问题所适用的特定损失函数来考察密度预测的表现。预测绩效的相关度量就是由每位使用者的特定损失函数所计算出的平均损失。其次，即使一个密度预测在某些损失函数下表现良好，也未必在所有损失函数下都表现良好。例如，一个在MSE损失下表现良好的密度预测——即具有良好的中心位置——在基于分位数（靠近尾部分位数）的损失函数下可能表现很差。这恰恰说明了评估依赖于(18.1)中所假定的损失函数。

理解(18.1)的抽样性质是困难的，因为已实现的损失是基础密度预测和损失函数的复杂函数。此外，密度预测通常依赖于那些估计被递归更新的模型。West (1996)的假设可能不适用于密度预测的情形，因此，对正确抽样分布及其对用于构建密度预测的基础估计的依赖性进行实际评估，需要对这些方法进行推广，至少在那些由参数估计的递归更新引入非平稳性的情形下如此。一种典型的做法是忽略估计误差，仅将已实现损失 $L(f(z_t),y_{t+1})$ 的观测值视为数据来评估抽样误差。然而，这种做法可能会低估样本均值的真实抽样变异性。

另一种方法是不将密度预测转化为点预测，而是使用与密度直接相关的损失函数，例如第2章中讨论的评分规则（有时称为技能分数）。评分规则是将结果 $y_{t+1}$ 和密度预测 ${\hat{p}}_{Yt}(y_{t+1})$ 映射到实数轴的函数。如果评分规则是恰当的（proper），则当密度预测与结果的分布相同时，其期望值达到最大。

对于二元结果，分布预测等价于条件均值预测。由于点预测的许多损失函数会导出恰当的评分规则，这两种方法通常是等价的。例如，在MSE损失下，二元变量的分布预测所对应的样本平均损失为

$$Q_T^{\mathrm{MSE}}=(T-1{)}^{-1}\sum _{t=1}^{T-1}(y_{t+1}-{\hat{p}}_{Yt}(y_{t+1}){)}^2.\text{\hspace{1em}(18.2)}$$

这通常被称为二次概率分数(QPS)统计量，或以Brier (1950)的名字命名的Brier QPS。正如第12章所讨论的，二元预测问题的评分规则与点预测的基础损失函数之间存在直接联系，其中评分规则可以视为对基础点预测损失进行加权平均的结果。

对于具有连续结果变量的情形，评分规则与点预测的基础损失函数之间不存在简单的联系。因此，预测评估通常依赖于任意选定的评分规则。其中最常用的是对数评分规则，它导出样本平均值

$$Q_T^{\mathrm{LS}}=(T-1{)}^{-1}\sum _{t=1}^{T-1}\log ({\hat{p}}_{Yt}(y_{t+1})),\text{\hspace{1em}(18.3)}$$

其中 ${\hat{p}}_{Yt}(y_{t+1})$ 是在结果 $y_{t+1}$ 处求值的条件密度预测。对于二元变量，(18.3)变为

$$Q_T^{\mathrm{LS}}=(T-1{)}^{-1}\sum _{t=1}^{T-1}\left(y_{t+1}\log ({\hat{p}}_{Yt}(y_{t+1}))+(1-y_{t+1})\log (1-{\hat{p}}_{Yt}(y_{t+1}))\right).\text{\hspace{1em}(18.4)}$$

这实际上是平均似然值。与大多数评分规则一样，我们使用损失的相反数，因此寻求较大的平均似然值或平均对数分数。更一般地，任何将 $(y_{t+1},{\hat{p}}_{Yt}(y_{t+1}))$ 映射到单一数值的评分规则 $S(y_{t+1},{\hat{p}}_{Yt}(y_{t+1}))$ 都导出平均分数

$$Q_T=(T-1{)}^{-1}\sum _{t=1}^{T-1}S(y_{t+1},{\hat{p}}_{Yt}(y_{t+1})).\text{\hspace{1em}(18.5)}$$

与(18.1)中的平均损失一样，由于这些量依赖于估计量，理解它们的抽样性质是复杂的。