14.5 密度组合

14.5 密度组合

到目前为止，我们已经讨论了由不同模型或预测者生成的点预测的组合。当单个预测以密度而非单点的形式给出时，我们也可以考虑提供一个组合的——或合并的——密度。点预测的线性组合形式为

$$f^c=\sum _{i=1}^m{\omega }_i{f}_i.$$

类似地，密度预测的线性组合形式为

$$p^c(y)=\sum _{i=1}^m{\omega }_i:p_i(y),\text{\hspace{1em}(14.27)}$$

其中 $p_i(y)$ 是对结果 $y$ 的各个密度预测，${\omega }_i$ 是组合权重。为确保组合密度本身是一个有效的密度，我们要求它在 $y$ 的整个支撑集上是非负的，并且积分为 1。我们通过将权重限制为总和为 1，即 $\begin{array}{r}{\sum }_{i=1}^m{\omega }_i=1\end{array}$，并强制权重为非负来实现这一点，即对所有 $i$ 有 $0\le {\omega }_i\le 1$。因此，组合密度是个体密度的混合分布。Wallis (2005) 等作者考虑了等权重方法，即 ${\omega }_i=1/m$。在统计学文献中，(14.27) 被称为线性预测池或线性意见池。¹¹

点预测和密度预测之间的关键区别在于，在点预测中结果是可以观测到的，而在密度预测中结果的密度是不可观测到的——只能观测到该结果的一个样本。正是由于这种差异，产生了密度预测组合的许多不同方法。

分布组合问题在统计学文献中已经讨论了相当长一段时间。在 Dawid (1984) 的预序方法中，统计推断的目标是为变量提供预测分布而非参数估计。这一方法具有深远的影响，并催生了本章中许多结果的发展。

记 $p_i(y)$ 的均值为 ${\mu }_i$，方差为 ${\sigma }_i^2$。由 (14.27) 的简单计算可得，$p^c(y)$ 的均值为 $\begin{array}{r}{\mu }_c={\sum }_{i=1}^m{\omega }_i{\mu }_i\end{array}$，方差为 $\begin{array}{r}{\sum }_{i=1}^m{\omega }_i\left({\sigma }_i^2+({\mu }_c-{\mu }_i{)}^2\right)\end{array}$。由此可以看出，组合密度位于各密度之间。如果个体分布的均值差异很大，组合密度的离散程度会很宽，潜在地甚至可能比任何一个个体密度的离散程度都更宽。这种宽度反映了在精确定位实际密度的最佳位置时个体密度所缺乏的信息。如果均值都相近，那么组合密度的离散程度将介于个体密度离散程度之间。

Clemen 和 Winkler (1999) 讨论了线性聚合方法的性质。(14.27) 形式的线性聚合具有一致性的性质，即如果组合中使用的所有密度对某一结果赋予相同的权重，那么组合密度也对该结果赋予相同的权重。

我们也可以考虑非线性密度组合，其中 $\begin{array}{r}{p}^c(y)=\end{array}$ $H(p_1(y),p_2(y),\dots ,p_m(y))$。由于我们要求 $p^c(y)$ 是一个有效的密度，在整个定义域上非负且积分为 1，因此对 $H(\cdot )$ 的形式有严格的限制。一种流行的方法是对数组合法，它设定

$$p^c(y)=(\int \prod _{i=1}^m{p}_i(y{)}^{{\omega }_i}d\mu {)}^{-1}\prod _{i=1}^m{p}_i(y{)}^{{\omega }_i},\text{\hspace{1em}(14.28)}$$

其中 $\mu$ 是底层计数测度。这可以保证密度非负，并确保其积分为 1。更多关于该方法的讨论可参见 Genest 和 Zidek (1986)。

在点预测组合中出现的许多问题对于密度预测组合也同样重要。首先，单个密度预测可能是唯一可观测的统计量。或者，我们实际上可以观察到用于生成密度预测的模型和数据，在这种情况下，密度模型组合将是更合适的术语。大多数组合方法都依赖于密度上某种形式的损失函数。这再次提出了一个问题，即是否应该使用底层数据而非从不同模型构建的预测密度。理想情况下，损失函数应该在密度组合的构建中发挥某种作用。