2.4 分布预测的评分规则

2.4 分布预测的评分规则

迄今为止,我们的讨论一直集中在点预测上,但对结果全部分布的预测正变得越来越常见。正如点预测需要基于损失的度量来衡量预测 $f$ 与结果 $Y$ 之间的距离,分布预测同样需要一个损失函数。这些损失函数被称为评分规则,它会根据预测者做出更准确预测的程度给予奖励,即与观测结果"更接近"的预测会获得更高的分数,其中接近程度取决于评分规则的形状。Gneiting 和 Raftery(2007)对评分规则进行了综述,并讨论了它们的性质。

评分规则 $S(p,y)$ 是将预测概率分布 $P$ 和结果 $y$ 映射到实数的函数。假设预测者使用预测概率分布 $p$,而用于评估 $p$ 的"拟合优度"的概率分布记为 $p_0$。那么在 $p_0$ 下 $S(p,y)$ 的期望值记为 $S(p,p_0)$。若预测者的最优概率分布为 $p_0$,即 $S(p_0,p_0)\ge S(p,p_0)$,且等号仅在 $p=p_0$ 时成立,则称该评分规则为严格合适的。在此情况下,预测者将没有动机使用 $p\ne p_0$ 的概率分布,因为这会降低分数。给定候选概率分布 $P$ 相对于最优规则的性能,可以通过所谓的散度函数来衡量:

$$d(p,p_0)=S(p_0,p_0)-S(p,p_0)。\text{\hspace{1em}(2.25)}$$

注意这与(2.3)式中基于点预测的损失函数在(2.3a)中的规范化形式相似:散度函数仅在 $p=p_0$ 时取得最小值 0,否则取正值。预测者最大化评分规则的目标因此转化为最小化散度函数。

文献中已使用了多种评分规则。其中许多规则适用于离散结果 $y=(y_1,\dots ,y_m)$ 及其相关概率 $\{p_1,\dots ,p_m\}$ 的范畴数据。用 $p_i$ 表示包含 $y_i$ 的范围所对应的预测概率。对数评分,

$$S(p,y_i)=\log (p_i),\text{\hspace{1em}(2.26)}$$

产生了著名的 Kullback–Leibler 散度度量,

$$d(p,p_0)=\sum _{j=1}^m{p}_{0j}\log (p_{0j}/p_j)。\text{\hspace{1em}(2.27)}$$

类似地,二次评分或 Brier 评分,

$$S(p,y_i)=2p_i-\sum _{j=1}^m{p}_j^2-1,\text{\hspace{1em}(2.28)}$$

产生平方散度

$$d(p,p_0)=\sum _{j=1}^m(p_j-p_{0j}{)}^2。\text{\hspace{1em}(2.29)}$$

对于连续结果上的密度预测,对数评分和二次评分的形式为

$$\begin{array}{rl}\log S(p,y)& =\log p(y),\\ S(p,y)& =2p(y)-(\int p(y{)}^2\mu (dy){)}^{1/2},\end{array}$$

其中 $\mu (\cdot )$ 是与结果 $y$ 相关联的概率测度。两者均为合适的评分规则。相比之下,线性评分 $S(p,y)=p(y)$ 可以被证明不是合适的评分规则;参见 Gneiting 和 Raftery(2007)。

在给定情况下使用哪种评分规则当然取决于问题的基本目标,选择应最贴近决策问题所涉及的成本。为了说明这一点,接下来我们提供一个来自半导体供应链的例子。

例 2.4.1(半导体的损失函数)。Cohen 等人(2003)为半导体设备供应链构建了一个基于经济动机的损失或成本函数。假设供应企业持有客户的软订单,这些订单可能会被取消(概率为 $\pi$)或在稍后日期 $y_N$ 最终确定(概率为 $1-\pi$),此时最终信息到达。给定这些订单,企业试图最优地确定生产启动时间 $y_{\pi }$,由于生产准备时间的延迟,有 $y_N>y_{\pi }$。如果订单被取消,供应商将承担每单位时间 $c$ 的取消成本。设 $y$ 表示超出生产准备时间的最终交付日期。如果该日期超过生产日期,供应商将承担每单位时间 $h$ 的持有(库存)成本。相反,如果生产启动日期 $y_{\pi }$ 超过 $y$,公司将无法满足所要求的交付日期,因此承担每单位时间 $g$ 的延误成本。Cohen 等人(2003)假设供应商选择生产日期 $y_{\pi }$ 以最小化期望总成本

$$\begin{array}{rl}E[L(y_{\pi },y,y_N)]& =\pi \times c{\int }_{y_{\pi }}^{\infty }(y_N-y_{\pi })d{P}_N(y_N)\\ & +(1-\pi )\left[h{\int }_{y_{\pi }}^{\infty }(y-y_{\pi })d{P}_y(y)+g{\int }_{-\infty }^{y_{\pi }}(y_{\pi }-y)d{P}_y(y)\right],\end{array}$$

其中 $P_y(y)$ 和 $P_N(y_N)$ 分别是 $y$ 和 $y_N$ 的累积分布函数。在该表达式关于 $y_{\pi }$ 是凸函数的前提下，成本最小化的生产时间 $y_{\pi }^{\ast }$ 可由以下一阶条件求解：

$$\pi \times c\times P_N({\gamma }_{\pi }^{\ast })+(1-\pi )(g+h)P_y({\gamma }_{\pi }^{\ast })=\pi \times c+(1-\pi )h,\text{\hspace{1em}(2.30)}$$

因此它隐式地依赖于取消概率、取消成本、库存和延迟成本，以及定稿日期和最终交付日期的预测分布。Cohen 等人（2003）使用指数分布对最终订单到达时间 $P_N$ 建模，并使用威布尔分布对最终交付日期分布 $P_Y$ 建模。为了估计模型参数并预测前置时间，作者使用了软订单、最终订单和订单前置时间的数据。实证估计表明 $\hat{g}=1.0$、$\hat{h}=3.0$、$\hat{c}=2.1$，说明持有成本是延迟成本的三倍，而取消成本是延迟成本的两倍。这反过来有助于制造商决定最优的生产开始日期 $y_{\pi }^{\ast }$。