3.1.2 预测最优性的解释

3.1.2 预测最优性的解释

使(3.2)式中期望损失最小化的最优预测概念具有若干含义。首先，对(3.2)式中的 $Y$ 取期望可知，最优点预测的目标是平均意义上表现良好，而非针对结果的某个特定值（单次抽样）。从这个意义上说，预测试图估计的不是结果的实现值，而是其预测分布或条件分布的一个函数。最优预测本身是 $z$ 的函数，可以被视为条件分布 $p_Y(y|z)$ 的一个参数。在 MSE 损失下，相关的函数是条件均值；在 MAE 损失下，相关的函数是条件中位数；对于 Linex 损失，则是条件随机变量矩生成函数的一个特征。这种意义上的最优预测是唯一的。然而，如下所示，当转向估计该函数（或参数）时，将不存在唯一的最优预测，因为对于 $Y$ 条件分布的这些特征存在许多估计量，其中没有哪一个是单一的最优估计量。

最优预测最小化平均条件损失这一事实也凸显了统计上的不良预测与经济上的不良预测之间的区别。统计上的不良预测源于在给定可用数据的情况下构建了较差的模型，而经济上的不良预测则提供了对有用决策而言过于粗略的预测。预测结果如果远离结果变量的观测实现值，通常被视为"较差"的。然而，在实践中，即使是良好的预测模型偶尔也会产生远离结果的预测。例如，当我们使用条件均值的估计值作为预测值，但观测到的结果 $y$ 来自其条件分布 $p_Y(y|z,\theta )$ 的尾部时，就会出现这种情况。我们不一定将其视为不良预测，因为即使在模型被正确设定的情况下，这类结果也可能发生。

其次，所有这些例子中的最优预测都依赖于用于产生预测的条件变量 $Z$。基于不同的预测变量进行条件化通常会导致给定这些预测变量的不同最优预测。无论预测问题如何，这一点都成立。对于特定预测模型的最优性主张，应限制在为构造预测所使用的给定预测变量集合下的最优性。

第三，(3.3)式中的优化是相对于一类函数 $\mathcal{F}$ 进行的。可能函数的集合通常过于宽泛，无法提示合理预测的形式。例如，对于 MSE 损失，我们知道最优预测采取条件均值的形式。然而，条件均值的可能模型类别极其庞大，因此实际上并不限定条件期望(3.5)的形式，即使限定到有限个未知参数集合也是如此。当函数搜索受到限制时，有时可以建立一些结果，但预测最优性的概念显然较弱。

例 3.1.5（MSE 损失与线性投影）。在 MSE 损失下，最优预测采取 $f^{\ast }=E[Y|z]$ 的形式。计算条件均值需要了解 $y$ 与 $z$ 之间的真实关系。预测通常使用基于 $y$ 对 $z$ 的线性投影的简单回归模型：$f(z)={\beta }^{\prime }z$，其中 $\beta$ 是线性投影的参数。此类投影是所有可能预测模型的一个子集，因此 $\mathrm{MSE}(f(z))\ge \mathrm{MSE}(E[Y|z])$，并且线性投影在总体上通常是最优的。根据构造，在线性投影类内，预测误差和投影是正交的：

$$E_Y[(Y-{\beta }^{\prime }z)z^{\prime }]=0.$$

在线性模型类内，线性投影因此是最优的。

我们可能将预测模型集合 $\mathcal{F}$ 限制为特定的参数模型，而不是将其扩展到广泛的函数类。如前例所示，无论是否考虑了所有可能函数，该集合可能包含或不包含最优模型。当该受限类可以以未知参数 $\beta$ 和数据 $z$ 的参数化形式表示时，该受限类中的最优预测由 $f(z,{\beta }^{\ast })$ 给出，其中

$${\beta }^{\ast }=\arg \underset{\beta \in \mathcal{B}}{\min }{E}_Y[L(f(Z,\beta ),Y)].\text{\hspace{1em}(3.10)}$$

我们称 ${\beta }^{\ast }$ 为 $\beta$ 的伪真值。${}^5$ 然而，${\beta }^{\ast }$ 不一定唯一，因为损失函数的期望值可能在 $\beta$ 的许多不同值处取得最小值。请注意，伪真参数 ${\beta }^{\ast }$ 的值依赖于 $\theta$，即预测分布 $p_Y(y|z,\theta )$ 的参数，因此期望损失仍然是 $\theta$ 的函数，而不仅仅是 $\beta$ 的函数。

虽然最优预测的简约形式表达式通常无法获得，但对于受限类别的损失函数以及 $Y$ 在给定 $Z=z$ 条件下的条件分布，仍可以证明一些结论。对于基于误差的损失函数，Granger (1969b) 证明了：如果损失函数关于 0 对称，并且结果的条件分布关于 $E_Y[y|z]$ 对称，使得 ${\bar{p}}_Y(y)\equiv p_Y(y-E_Y[y|z])$ 关于 0 对称，那么条件均值 $E_Y[y|z]$ 就是最优预测。该结果还要求以下条件之一成立：(i) 损失函数的导数 $L^{\prime }(\cdot )$ 严格单调递增；或者 (ii) 条件密度 $p_Y(y|z)$ 连续且单峰。下面证明第一种情况下的结论。期望损失为

$${\int }_{-\infty }^{\infty }L(y-f)p_Y(y|z)dy={\int }_{-\infty }^{\infty }L(y-\alpha ){\bar{p}}_Y(y|z)dy,\text{\hspace{1em}(3.11)}$$

其中 $f=E_Y[y|z]+\alpha$，而 $\alpha =f-E_Y[y|z]$ 是预测偏差。对 (3.11) 关于 $\alpha$ 求导，得到

$${\int }_{-\infty }^{\infty }{L}^{\prime }(y-\alpha ){\bar{p}}_Y(y|z)dy=0.\text{\hspace{1em}(3.12)}$$

利用 ${\bar{p}}_Y(y)$ 的对称性以及 $L^{\prime }(y)$ 的反对称性，${}^{\text{6}}$ 我们有

$${\int }_{-\infty }^{\infty }{L}^{\prime }(y){\bar{p}}_Y(y|z)dy=0.\text{\hspace{1em}(3.13)}$$

这表明 $\alpha =0$ 是方程 (3.12) 的一个解。正如 Granger 所指出的，方程 (3.12) 的解是唯一的最小值点。为了说明这一点，假设存在另一个 $\alpha$ 值满足 (3.13)，即

$${\int }_{-\infty }^{\infty }\left[L^{\prime }(y-\alpha )-L^{\prime }(y)\right]{\bar{p}}_Y(y|z)dy=0.\text{\hspace{1em}(3.14)}$$

由于 $L^{\prime }$ 是递增函数，当 $\alpha <0$ 时，$L^{\prime }(y-\alpha )-L^{\prime }(y)>0$；反之，当 $\alpha >0$ 时，$L^{\prime }(y-\alpha )-L^{\prime }(y)<0$。又因为 ${\bar{p}}_Y(y|z)\ge 0$ 且积分为 1，这意味着除非 $\alpha =0$，否则 (3.14) 不可能成立。最优预测的二阶条件保证了 $f=E_Y[y|z]$ 是一个极小值点。