18.1 基于损失函数的评估

18.1 基于损失函数的评估

评估密度预测的一种直接方法是,将损失函数应用于实际发生值与密度预测之间差异的观测序列。正如我们在本章引言中所指出的,我们观测到的不是一系列分布结果,而是该分布的一个单次抽取。因此,应用于此设定的损失函数需要将单次结果和密度预测映射到实数轴上。一种选择是将密度预测转换为点预测,然后使用标准程序进行评估。具体而言,假设我们心中有一个特定的损失函数,允许我们将密度预测映射为点预测。那么我们可以首先将密度预测转换为点预测,然后用相同的损失函数评估该点预测。或者,我们可以使用一个以密度预测作为输入的评分规则。

对于第一种方法,将在下文 18.1.1 节中更详细地讨论,需要注意的一点是,除了密度预测被正确设定这一特殊(且不太可能)情形外,结果将取决于损失函数。错误设定的密度预测的比较在 Diebold、Gunther 和 Tay(1998) 中有所讨论。任何损失函数都会更偏好正确设定的密度预测而非错误设定的密度预测。相比之下,当生成密度预测的模型被错误设定时,相关预测的排序很可能因不同的损失函数而异——也就是说,使用不同损失函数的两个预测者会对两组密度预测的排序产生合理的分歧。例如,考虑 MSE 和 lin-lin 损失函数。如果其中一个密度预测对条件均值准确但对条件方差不准确,而另一个对条件方差准确但略有偏离中心,那么很容易出现的情况是:MSE 预测者更偏好第一个密度预测,而 lin-lin 预测者则更偏好第二个密度预测。

在第二种方法下,将在下文 18.2 节中讨论,不同的评分规则会优先考虑结果分布不同位置的准确性,因此在错误设定的密度预测排序上可能会有所不同。对于二元预测问题,应用于点预测的损失函数与评分规则之间存在简单的关系。然而,对于更一般的问题,两种表述(使用损失函数评估的点预测与使用评分规则评估的密度预测)之间没有明显的关系。在实践中,在不容易将密度预测转换为点预测的情况下,评分规则方法似乎是合适的。