3.1 最优点预测

3.1 最优点预测

预测者的目标是利用数据——随机变量 $Z$ 的观测值——来预测随机变量 $Y$ 的值。下面我们将展示如何在预测者损失函数的背景下对此进行形式化。

3.1.1 期望损失

预测者的目标可以归结为寻找一个决策规则 $f(Z)$，该规则将用于"选择"$Y$ 的一个值。预测就是该决策规则。预测值与结果之间的接近程度是指使损失在"平均意义"上较小，即在不同 $Y$ 值上使损失较小。对于任何决策规则，我们都希望预测能最小化期望损失，

$$E_Y\left[L(f(Z),Y)|Z\right].\text{\hspace{1em}(3.1)}$$

这里期望 $E_Y$ 是在保持 $Z$ 不变的情况下对未观测到的结果 $Y$ 求取的。该期望损失是预测规则、$Z$ 以及 $Y$ 在给定 $Z$ 时的条件分布参数的函数。${}^2$ 这解释了为什么期望损失是 $\theta$ 和所选预测规则 $f$ 的函数。一个合理的决策规则具有较低的风险，因此能够最小化期望损失。${}^3$

利用 $Y$ 在给定 $Z$ 时的条件密度，记为 $p_Y(y|z,\theta )$，(3.1) 中的期望损失可以写成

$${\int }_{y}L(f(z),y)p_Y(y|z,\theta )dy.\text{\hspace{1em}(3.2)}$$

这就是我们试图控制并最小化的期望损失。

当期望损失存在时，由 (3.2) 可知，最优点预测 $f^{\ast }\in \mathcal{F}$ 满足${}^4$

$$f^{\ast }(z)=\underset{f\in \mathcal{F}}{\mathrm{argmin}}{\int }_{y}L(f(z),y)p_Y(y|z,\theta )dy.\text{\hspace{1em}(3.3)}$$

对于许多常用的损失函数，可以建立 (3.3) 的闭式解。

例 3.1.1（均方误差（MSE）损失下的最优预测）。 在 MSE 损失下，$L(f(z),y)=(y-f(z){)}^2$，则 (3.2) 中的风险化简为

$$\begin{array}{rl}{\int }_y(y-f(z){)}^2{p}_Y(y|z,\theta )dy& ={\int }_y(y-E(Y|z)+E(Y|z)-f(z){)}^2{p}_Y(y|z,\theta )dy\\ & ={\int }_y(y-E(Y|z){)}^2{p}_Y(y|z,\theta )dy\\ & +2(E(Y|z)-f(z)){\int }_y(y-E(Y|z))p_Y(y|z,\theta )dy\\ & +(E(Y|z)-f(z){)}^2\\ & =\text{Var}(Y|z)+0+(E(Y|z)-f(z){)}^2.\end{array}\text{\hspace{1em}(3.4)}$$

由于 (3.4) 中的第一项不涉及预测 $f(z)$，且第二项非负，因此最优预测规则为

$$f^{\ast }(z)=E(Y|z),\text{\hspace{1em}(3.5)}$$

这也是 MSE 损失下最优预测的一般形式。条件均值将是潜在参数 $\theta$ 和数据 $z$（或其子集）的函数。设 $f(z)=E(Y|z)$ 并不能保证结果 $y$ 接近预测值 $f(z)$，因为并不能保证某一特定结果 $y$ 接近其条件均值。然而，平均而言 $y$ 将接近条件均值，因此 (3.5) 中的预测是合理的。

在 MSE 损失下，我们可以不利用该损失函数的可微性来推导最优预测。更一般地，只要我们能在积分（关于 $y$）下进行求导，那么最优预测必须满足

$$\begin{array}{rl}\frac{d}{df(z)}{\int }_{y}L(f(z),y)p_Y(y|z,\theta )dy& ={\int }_y\frac{d}{df(z)}L(f(z),y)p_Y(y|z,\theta )dy\\ & =E[L^{\prime }(f(z),Y)|Z=z]\\ & =0,\end{array}\text{\hspace{1em}(3.6)}$$

因此最优预测 $f^{\ast }(z)$ 满足

$$E[L^{\prime }(f^{\ast }(z),Y)|Z=z]=0.$$

该表达式可用于推导最优预测规则。在某些情况下可以得到闭式解，但对于复杂的损失函数或密度函数，我们可能就没那么幸运了。

例 3.1.2（MSE 损失下的最优预测，续）。 在 MSE 损失下，$L^{\prime }(f(z),y)=2(y-f(z))$，因此 (3.6) 中的一阶条件变为

$$\begin{array}{rl}\frac{1}{2}E[L^{\prime }(f(z),y)|Z=z]& ={\int }_y(y-f(z))p_Y(y|z,\theta )dy\\ & ={\int }_{y}y{p}_Y(y|z,\theta )dy-f(z)=0.\end{array}$$

因此，$f^{\ast }(z)={\int }_{y}y{p}_Y(y|z,\theta )dy=E[Y|Z=z,\theta ]$，最优预测是在给定数据 $z$、预测模型及其参数 $\theta$ 下的条件均值，如例 3.1.1 所示。

虽然条件均值是最常用的预测规则，但在非对称损失下它通常不是最优规则，如下例所示。

例 3.1.3（线-线（lin-lin）损失下的最优预测）。 在线-线损失 $L(e)=\alpha e1(e>0)-(1-\alpha )e1(e\le 0)$，$0<\alpha <1$ 下，其中 $1(e>0)$ 是示性函数，当 $e>0$ 时等于 1，否则等于 0，期望损失为

$$\begin{array}{rl}{\int }_{y}L(f(z),y)p_Y(y|z,\theta )dy& =\alpha {\int }_{f(z)}^{\infty }(Y-f)p_Y(y|z,\theta )dy\\ & -(1-\alpha ){\int }_{-\infty }^{f(z)}(Y-f)p_Y(y|z,\theta )dy.\end{array}\text{\hspace{1em}(3.7)}$$

将 (3.7) 关于 $f(z)$ 求导，得到最优预测的一阶条件，

$$-\alpha (1-P_{Y|Z}(f(z)))+(1-\alpha )P_{Y|Z}(f(z))=0,$$

其中 $P_{Y|Z}(x)={\int }_{-\infty }^x{p}_Y(y|z,\theta )dy$。这化简为 $P_Y(f^{\ast }(z))=\alpha$，即

$$f^{\ast }(z)=P_{Y|Z}^{-1}(\alpha ),\text{\hspace{1em}(3.8)}$$

并且 $P_{Y|Z}^{-1}(\alpha )$ 是给定 $Z$ 时 $Y$ 的分位数函数。如果 $\alpha =0.5$，如 MAE 损失的情形，最优预测是 $Y$ 预测分布的中位数。这符合直觉，因为在对称情形下，正向和负向的预测误差被赋予相同的权重。随着 $\alpha$ 减小趋向于 $0$，最优预测向预测结果分布的左侧尾部移动。这是因为负向预测误差（高估）现在比正向误差受到更重的惩罚，因此最优预测向左偏移以减少高估的可能性。例如，若 $\alpha =0.25$，最优预测不再是 $Y$ 的中位数，而是 $Y$ 分布的第一四分位数。

作为示例，图 3.1 绘制了标准正态随机变量 $N(0,1)$ 的最优预测关于 $\alpha$ 的函数图像。尽管被预测变量的均值为 $0$，但在 $\alpha$ 较大时，最优预测是大的正值。这对应于对正向预测误差施加强烈惩罚，从而减少出现此类误差的可能性。相反，当 $\alpha$ 接近 $0$ 时，最优预测是强烈的负值。

图 3.1：标准正态随机变量 $N(0,1)$ 在线性-线性损失函数下，不同 $\alpha$ 值所对应的最优点预测 $f^{\ast }$。

Linex 损失是另一个我们可以期望得到最优预测闭式解的情形，特别是当结合诸如结果变量的（条件）正态性等分布假设时。

例 3.1.4（Linex 损失下的最优预测）。对于 Linex 损失函数，

$$L(f(z),y)=\exp (a(y-f(z)))-a(y-f(z))-1,$$

因此

$${\int }_{y}L(f(z),y){\bar{p}}_y(y|z,\theta )dy=\exp (-af(z))M_{Y|z}(a)-a(E(Y|z,\theta )-f(z))-1,$$

其中 $M_{Y|z}(t)$ 是 $Y$ 在给定 $Z$ 条件下的矩母函数，我们假设其存在，且 $a\ne 0$ 是损失函数的一个参数。我们希望最小化该式，其中 $Z=z$ 保持不变。关于 $f(z)$ 在积分号下求导，得到一阶条件

$$\begin{array}{c}0=-a\exp (-af(z))M_{Y|z}(a)+a\\ =-\exp (-af(z))M_{Y|z}(a)+1,\end{array}$$

因此最优决策规则的闭式解为

$$f^{\ast }(z)=a^{-1}\ln M_{Y|z}(a).\text{\hspace{1em}(3.9)}$$

正如我们将在例 3.2.1 中看到的，这可能与给定 $z$ 时 $Y$ 的条件期望 $E[Y|z]$ 显著不同。