3.2.1 基于损失的方法与两步法

3.2.1 基于损失的方法与两步法方法

构造预测模型的经典（或频率主义）方法大致可分为两大类：要么直接使用损失函数的样本类似量（sample analog），要么采用两步法方法——先找到最优预测的形式，然后对未知参数使用代入估计。本节考察在这些方法下出现的一些一般性问题。本书后续大部分内容将在更具体的预测问题背景下研究预测的构造。

样本类似量方法要求找到(3.15)的样本类似量并构造一个预测模型 $f(z,\beta )$，其中 $\beta$ 是未知参数，其取值依赖于 ${\theta }_{;}$，尽管正如我们将在第6章和第11章讨论的那样，预测模型本身通常也是未知的。如果 $f(z,\beta )$ 与最优预测相同（即 $f(z,\beta )$ 等于在MSE损失下$Y$的条件均值），那么预测模型就是正确设定的。在实践中，这应该被视为不太可能发生的事件。更可能的情况是，$f(z,\beta )$ 是对正确设定的近似。

两步法方法近似条件分布中预测变量的相关特征——例如，在MSE损失下，这一特征是给定$Z=z$时$Y$的条件均值，方法是通过预测模型 $f(z,\beta )$。同样地，如果该模型与 $p_Y(y|z)$ 的相关特征相同，则模型是正确设定的，尽管更可能的情况是 $f(z,\beta )$ 是一个近似。在第二步中，使用对$\beta$的一个估计，记为 $\hat{\mathbf{\beta }}$，来生成预测 $f(z,\hat{\mathbf{\beta }})$。因此，两步法方法要求能够确定 $p_Y(y|z)$ 的相关特征，而样本类似量方法则总是可以使用。尽管如此，两步法方法在实践中更为普遍。这主要是因为大多数预测研究是在MSE损失下进行的，将预测分析简化为对结果条件均值的估计。

例3.2.1（Linex损失，续）。 设 $Z_T=\{y_t{\}}_{t=1}^T$，因此数据仅包含因变量的过去值。如果我们假设 $y_t\sim$ ind $\mathrm{N}(\mu ,{\sigma }^2)$，则

$$M_{y|Z}=\exp \left[a\mu +a^2{\sigma }^2/2\right],\text{\hspace{1em}(3.16)}$$

并且我们有 $f^{\star }\left(z\right)=a^{-1}\lceil a\mu +a^2{\sigma }^2/2\rceil =\mu +a{\sigma }^2/2$。一个代入估计量可能使用如下预测：

$$f_{T+1|T}^{\star }\left(Z_T\right)={\bar{y}}_T+a{\hat{\sigma }}^2/2,\text{\hspace{1em}(3.17)}$$

其中 ${\bar{y}}_T=T^{-1}{\sum }_{t=1}^T{y}_t$，${\hat{\sigma }}^2$ 是方差的一个估计量，即 $(T-1{)}^{-1}{\sum }_{t=1}^T(y_t-{\bar{y}}_T{)}^2$。

由于我们正在估计条件分布的一个特征，例如其均值，因此点预测本质上是一个估计问题。关于风险和预测最优性的大多数结果类似于参数估计理论中的结果。在本节剩余部分，我们将介绍其中一些基本结果，并将其适配到预测问题中。

首先，考虑预测模型被正确设定的情况，因此 $f(z,\beta )$ 等于 $p_Y(y|z)$ 的正确特征。类似量过程或代入法的第二步要求从数据中估计 $\beta$，因此实际的预测模型不是 $f(z,\beta )$，而是 $f(z,\hat{\mathbf{\beta }})$。预测方法的风险计算涉及对 $z$ 取期望，因此会受到未知参数估计的影响。由于参数估计带来的额外随机性增加了风险，估计的预测模型将永远无法获得前一节中讨论的最优性。

例3.2.2（给定结果观测历史的MSE损失）。 考虑使用 $Z_T=\{y_t{\}}_{t=1}^T$ 在MSE损失下预测 ${\gamma }_{T+1}$，其中 $y_t\sim$ ind $\mathrm{N}(\mu ,{\sigma }^2)$，因此数据由从同一分布中独立抽取的过去观测组成。总体最优预测是 $\mu$。这产生风险 $R(\theta ,\mu )=E{\left(y_{T+1}-\mu \right)}^2={\bar{\sigma }}^2$。当 $\mu$ 未知时，我们可能改用基于 $T$ 个观测计算的样本均值 ${\bar{y}}_T$ 作为预测，其中 ${\bar{y}}_T\sim (\mu ,T^{-1}{\sigma }^2)$。该预测的风险为

$$\begin{array}{c}R(\theta ,{\bar{y}}_T)=E_Y(y_{T+1}-\mu {)}^2+E_Z({\bar{y}}_T-\mu {)}^2\\ ={\sigma }^2(1+T^{-1}).\end{array}$$

这严格大于总体预测的风险 ${\sigma }^2$。

(3.15)中的风险度量通常不同于(3.2)中的条件期望损失度量，因为 $z_t$ 随 $t$ 变化。我们将在下一个例子中说明这一点。

例3.2.3（线性预测模型的MSE损失）。 考虑一个线性预测模型 $y_{t+1}={\beta }^{\prime }{x}_t+{\epsilon }_{t+1}$，其中 ${\epsilon }_{t+1}\sim iid(0,{\sigma }^2)$ 独立于 $Z_T=(x_0^{\prime },.....,x_T^{\prime }{)}^{\prime }$。在平方误差损失下，期望损失为

$$E[({\epsilon }_{T+1}^2+({\hat{\beta }}_T-\beta {)}^{\prime }{x}_T{x}_T^{\prime }({\hat{\beta }}_T-\beta ))].$$

在给定数据 $Z_{T:d}$ 和预测值 $f_{T+1|T}={\hat{\beta }}_T^{\prime }{x}_T$ 的条件下，对于最小二乘估计量 $\begin{array}{r}{\hat{\mathbf{\beta }}}_T={\left({\mathbf{T}}^{-1}{\sum }_{t=0}^{T-1}{x}_t{x}_t^{\prime }\right)}^{-1}\left({\mathbf{T}}^{-1}{\sum }_{t=0}^{T-1}{x}_t{y}_{t+1}\right)\end{array}$，上式变为

$$\begin{array}{rlr}& & E_Y[(y_{T+1}-{\hat{\beta }}_T^{\prime }{x}_T{)}^2|Z_T]\approx E[({\epsilon }_{T+1}^2+({\hat{\beta }}_T-\beta {)}^{\prime }{x}_T{x}_T^{\prime }({\hat{\beta }}_T-\beta ))|Z_T]\\ & & \\ & & ={\sigma }^2(1+T^{-1}{x}_T^{\prime }(T^{-1}\sum _{t=0}^{T-1}{x}_t{x}_t^{\prime }{)}^{-1}{x}_T),\end{array}\text{\hspace{1em}(3.18)}$$

该式依赖于直到时刻 $T$ 的所有 $x$ 值。通过对所有 $z_T$ 值进行积分得到的无条件期望损失为

$$\begin{array}{l}R(\theta ,{\hat{\beta }}_T^{\prime }{X}_T)=E\left[{\sigma }^2(1+T^{-1}{x}_T^{\prime }(T^{-1}\sum _{t=0}^{T-1}{x}_t{x}_t^{\prime }{)}^{-1}{x}_T)\right]\\ \approx {\sigma }^2(1+T^{-1}K),\end{array}\text{\hspace{1em}(3.19)}$$

其中 $K=\dim (x_t)$。

假设模型 $f(z,\beta )$ 正确设定且 $\theta$（从而 $\beta$）已知的风险函数，可以被视为风险的一个不可行下界，或者是大样本下风险的"极限"近似。同时，在考虑预测程序的优劣时，应当考虑参数估计误差。由此得到的一个直接推论是，即使在最简单的情况下——即使在模型正确设定的情况下——也不存在一个对所有可能的 $\theta$ 值都能使风险最小化的单一最优程序。相反，不同程序的风险函数通常会在 $\theta$ 的不同区域内相交。下一个例子将说明这一点。

例 3.2.4（收缩估计量的 MSE 损失）。考虑例 3.2.2 中的预测问题。我们不必使用样本均值估计量 ${\bar{y}}_T$，而可以考虑收缩估计量 $\gamma {\bar{y}}_T$，其中 $0<\gamma <1$。此时风险为

$$\begin{array}{rl}& R(\theta ,\gamma {\bar{y}}_T)=E_{Z,Y}(y_{T+1}-\gamma {\bar{y}}_T{)}^2\\ & =E_Y(y_{T+1}-\mu {)}^2+{\gamma }^2{E}_Z({\bar{y}}_T-\mu {)}^2+(1-\gamma {)}^2{\mu }^2\\ & ={\sigma }^2(1+{\gamma }^2{T}^{-1})+(1-\gamma {)}^2{\mu }^2.\end{array}\text{\hspace{1em}(3.20)}$$

当 $\mu$ 在范围 $\pm \sqrt{T^{-1}{\sigma }^2(1+\gamma )/(1-\gamma )}$ 内时，预测值 $\gamma {\bar{y}}_T$ 的风险低于样本均值 ${\bar{y}}_T$；在此范围之外，${\bar{y}}_T$ 的风险较低。

上述结果都以预测模型（除一组未知参数 $\beta$ 外）正确设定为前提。然而，正如上一小节所讨论的，我们可以将搜索范围限制在一个可能的模型子集内，该子集不包含最优模型。例如，使用 MSE 损失的预测者可能将模型限制为线性投影，即使条件均值关于条件变量并非线性关系。在这种情况下，最优性是相对于这个有限的模型集合来确定的。

估计量的标准风险概念可以推广到预测，包括与方法最优性相关的问题。与估计方法类似，一个预测方法属于一组最优方法族，如果参数空间 $\theta$ 中存在某个区域，使得在此区域内没有其他预测方法具有更低的风险。从上述例子中可以清楚地看出，这种最优性概念通常定义的是一组预测方法，而非单一预测方法。因此，一般来说，对于任何问题都不可能声称存在单一的最优预测方法，除非 $\theta$ 被限制为一个点——此时 $\theta$ 必须是已知的。

这些考虑也引出了这样的可能性：某些预测程序在 $\theta$ 的每一个取值下都被其他预测所支配，因此是劣等的，永远不应被使用。这一概念对应于不可接受估计量的思想。

例 3.2.5（收缩估计量的 MSE 损失，续）。允许例 3.2.4 中的收缩因子 $\gamma$ 在实数 $\mathbb{R}$ 等集合中取任意值，就生成了一族估计量，我们记为 $\{\gamma {\bar{y}}_T\}$。由 (3.20) 可知，对于 $|\gamma |>1$，不存在 $\mu$ 的某个范围使得 $\gamma {\bar{y}}_T$ 优于样本均值 ${\hat{y}}_T$，因为相应的风险严格更大。因此，这些估计量永远不应被使用。然而，当 $0<\gamma \le 1$ 时，不存在这样的排序，此时在 $\mu$ 接近 0 的情况下，较大的收缩程度会带来更低的风险。