3.4.1 密度预测

3.4.1 密度预测

为最小化不同决策规则下的 $E_Y[L(f(z),Y)|Z]$ 而寻求解决方案，需要选择一个预测，即一个预测密度的函数，以最小化风险

$$f^{\ast }(z)=\arg \underset{f(z)}{\min }{\int }_{y}L(f(z),y{)}_{PY}(y|z)dy.\text{\hspace{1em}(3.29)}$$

这个表达式揭示了密度预测相对于点预测有用的两个方面。首先，具有不同损失函数的预测者通常会构建不同的最优预测，即使对所有预测者而言，数据的真实密度是相同的。在某些损失函数下（例如，分段线性损失），最优预测将是结果的一个分位数，而该分位数取决于损失的不对称程度；参见例 3.1.3。该族中具有不同损失函数的两个预测者将需要预测分布的不同分位数，因此仅仅报告一个数字的机构永远无法同时为两者提供最优预测。

其次，点预测经常因其未能传达围绕预测的不确定性程度而受到批评。例如，未来房价变化的点预测可能为正，但预测密度可能对价格下跌赋予了相当大的权重。

因此，提供点预测的一种替代方案是报告预测密度 $p_Y(y|z)$ 的估计。当有闭式解时，点预测可以直接从所提供分布的汇总统计量计算得出。更一般地，需要对密度预测进行数值积分以找到最优的点预测。

密度预测解决了第一个问题，因为需要分布的不同分位数的两个预测者都能够从所提供的密度构建其最优预测。预测密度对于关注条件均值的 MSE 预测者同样有效。该预测者可以从密度预测中计算条件均值，并检验该均值作为 $Y$ 在给定 $Z$ 条件分布中心的汇总统计量的合理性。

看起来，提供所有可能结果的整个预测分布（密度预测）似乎是充分的。然而，对于这一解决方案出现了若干注意事项。虽然提供密度预测而非点预测似乎在一般性方面有明显的收益，但这种收益在某种程度上是虚幻的，因为通常预测密度依赖于必须进行估计的参数 $\theta$。因此，将提供估计的预测密度，而密度的不同估计器（例如，对参数密度中 $\theta$ 的不同估计器）将产生不同的密度估计。具有不同损失函数的预测者通常会偏好不同的估计器。提供预测密度并不能避免最佳估计器最终取决于损失函数的问题。从具有分段线性（lin-lin）损失的预测者的角度来看，密度估计器完全可能以中位数附近的精度换取尾部的精度（或反之）。因此，需要接近均值处分位数的预测者将偏好与需要尾部处分位数的预测者不同的预测密度估计。

预测密度的贝叶斯等价物是通过 $\theta$ 的后验分布构建的。贝叶斯方法选择 $f(z)$ 以最小化

$$\begin{array}{rlr}& & r(\pi ,f)={\int }_z({\int }_{\theta }\left\{{\int }_{y}L(f(z),y,z)p_Y(y|z,\theta )dy\right\}{p}_Z(z|\theta )\pi (\theta )d\theta )dz\\ & & ={\int }_z\left({\int }_{\theta }\left\{{\int }_{y}L(f(z),y,z)p_Y(y|z,\theta )dy\right\}\pi (\theta |z)d\theta \right)m(z)dz\\ & & ={\int }_z\left({\int }_y\left\{L(f(z),y,z){\int }_{\theta }{p}_Y(y|z,\theta )\pi (\theta |z)d\theta \right\}dy\right)m(z)dz.\end{array}\text{\hspace{1em}(3.30)}$$

这里我们允许对 $\theta$ 的积分通过损失函数，因为损失函数并不是参数 $\theta$ 的显式函数。此外，$\begin{array}{r}{\int }_{\theta }{p}_Y(y|z,\theta )\pi (\theta |z)d\theta =p_Y^P(y|z)\end{array}$ 是通过以 $\pi (\theta |z)$ 为权重对 $\theta$ 进行积分而得到的预测密度。