14.5.1 密度组合的经典方法

14.5.1 密度组合的经典方法

一种方法通过某种损失函数来组合密度。与点预测问题不同，我们不能直接观察到结果密度——我们只能观察到来自该密度的一个样本——因此无法直接选择权重以最小化该对象与组合密度之间的损失。一种解决方法是使用不需要知道结果变量密度的损失函数；这直接引出了库尔巴克-莱布勒（Kullback–Leibler）损失。

相对于某个未知真实密度 $p(y)$，密度的线性组合 ${\sum }_{i=1}^m{\omega }_i{p}_i(y)$ 的库尔巴克-莱布勒（KL）损失由下式给出

$$\begin{array}{l}\mathrm{KL}=\int p(y)\ln \left(\frac{p(y)}{{\sum }_{i=1}^m{\omega }_i{p}_i(y)}\right)dy\\ =\int p(y)\ln (p(y))dy-\int p(y)\ln \left({\sum }_{i=1}^m{\omega }_i{p}_i(y)\right)dy\\ =C-E\ln \left({\sum }_{i=1}^m{\omega }_i{p}_i(y)\right),\end{array}$$

其中 $C$ 对于所有权重 ${\omega }_i$ 的选择为常数。因此，最小化 KL 距离等同于在期望意义上最大化对数评分。

使用对数评分来评估密度组合是文献中较常用的方法之一。Geweke 和 Amisano（2011）使用此方法来组合 GARCH 模型、分层马尔可夫正态混合模型和随机波动率模型，以预测每日股票收益的密度。另见 Hall 和 Mitchell（2007）。

在对数评分准则下，组合权重的估计等同于最大化对数似然。给定 $y$ 的一序列观测结果 $\{y_t{\}}_{t=1}^T$，样本类比是最大化

$${\hat{\omega }}_T=\arg \underset{{\omega }_T}{\max }(T-1{)}^{-1}\sum _{t=1}^{T-1}\ln \left({\omega }_{iT}{p}_{i,t+1|t}(y_{t+1})\right),$$

约束条件为

$${\omega }_{iT}\ge 0,\sum _{i=1}^m{\omega }_{iT}=1,\text{对所有 }i。$$

这些权重的估计可以通过一个受约束的优化程序来完成，该程序将 $p_{it}(y)$——在结果处评估的密度——作为数据。在 $m=2$ 的情况下，他们注意到，如果一个模型嵌套另一个模型且较小的模型被正确设定，那么在极限情况下两个密度将是相同的。因此，在极限情况下，对于所有权重集合，二阶条件为 0。在实际中这可能不是问题，因为在这种情况下两个密度是相同的，因此任何权重组合都将为组合密度提供相同的结果。

对数评分（或 KL 距离）并非唯一可采用的候选评分规则。任何适当的评分规则都可以采用。文献中已提出的其他评分规则包括二次评分（QS）和连续等级概率评分（CRPS）。进一步讨论参见 Gneiting 和 Raftery（2007）。