3.6 结论

本章讨论了在已知给定一组预测变量的结果的参数化预测模型的情况下，如何通过最小化期望损失来寻找最优预测模型。在预测模型除有限参数集外均已知的情况下，期望损失可以通过对结果的相应条件分布求损失的期望值来计算。在 MSE（均方误差）损失下，最优预测即为结果的条件均值。

当模型未知时，必须利用过去的数据来构建模型的估计。定义风险为对结果和用于构建预测的数据同时积分的期望损失，本章讨论了经典预测方法如何试图最小化该风险。即使在最简单的情况下，估计参数的存在也意味着在整个参数空间上没有唯一能最小化风险的预测模型。关于相关参数空间的不同观点促成了不同的预测模型。虽然贝叶斯方法以数据为条件，但不同的先验分布可以适用于对参数空间的不同看法，从而再次导致一系列可能的预测模型。因此，无论对经典方法还是贝叶斯方法而言，都不存在构建预测模型的单一最优方法。

接下来两章将详细阐述构建预测模型的经典方法和贝叶斯方法。

预测模型的经典估计

预测者很少能知道最佳预测模型的精确形式或 I 其参数值。例如，在 MSE 损失下，我们希望计算 Y 的条件均值，但通常不知道其真实的函数形式。在实际操作中，从预测模型过渡到可操作的预测——即一个数值或密度预测——需要参考数据，这有助于完成这两项任务。本章讨论当参数必须估计时经典预测方法的一般问题，而下一章讨论贝叶斯估计方法。我们将重点讨论一般方法以及它们与上一章中讨论的预测最优性概念的关系。模型选择将在第 6 章讨论。

使用第 3 章的设定，我们寻找一个预测模型 $f^{\ast }(z)$，以最小化期望损失

$$f^{\ast }(z)=\underset{f\in \mathcal{F}}{\mathrm{argmin}}\int L(f(z),y)p_Y(y|z,\theta )dy.\text{\hspace{1em}(4.1)}$$

求解 (4.1) 涉及在函数空间 F 上的搜索。第 3 章给出了当条件密度 ${\rho }_Y(y|z,\theta )$ 和参数 θ 已知时如何构建最优预测的例子。

当预测模型 $\beta$ 的参数必须估计时，即使模型 ${\rho }_Y(y|z,\theta )$ 已知，预测模型的风险也将依赖于估计过程。即使在最平凡的例子中，在 θ 的所有取值范围内也不存在唯一最优的预测过程。因此，即使在 Y 和 Z 的联合密度形式已知、仅参数 θ 需估计的情况下，不同的预测方法构建方法也会并存。

更现实的情况是，${\rho }_Y(y|z,\theta )$ 甚至在 $\theta \in \Theta$ 的参数集合上也是未知的，此时模型本身是近似的，从而进一步限制了最优性的概念。在预测文献中，所谓的"最优"预测通常远弱于 (4.1) 中给出的预测最优性概念，而仅指解决一个限制性强得多的问题的一组可能的预测。

经典估计方法是预测分析中的主流方法。构建预测模型的最简单经典方法是使用预测目标函数（即损失函数）的样本类比，并基于使该目标函数最大化的估计量来构建模型。这使得预测模型的估计成为统计学中 M 估计的一个特例。另一种非常流行的方法在上一章中已描述，即首先建立预测模型（根据上一章，这是被预测变量条件分布的一个特征），然后代入未知参数的估计值，这些估计值可能通过最小化其他目标函数（如均方误差）获得。

第 4.1 和 4.2 节考察当预测模型由参数化设定 $f(z_T,\beta )$ 近似时（$\beta \in B$ 为某向量）的不同估计过程。人们已考虑了许多方法，包括基于损失函数的 M 估计、极大似然估计以及各种特定方法。这些方法计算所有观测数据点上损失函数的平均值，而不是生成预测时（即在样本末端，时间 $T$）的损失函数。本章还考察了在惩罚损失函数的使用中取得一定成效的流行估计方法。这里的目的不是解释 $\hat{\mathbf{\beta }}$ 的极限值，而是减少参数估计误差及其对风险的影响。第 4.3 节简要考察当预测模型未以参数化形式设定时出现的问题。本节主要作为通向后续章节的桥梁，后续章节将更详细地介绍相关内容。最后，第 4.4 节给出结论。