3.2.2 风险与信息集

3.2.2 风险与信息集

公式(3.15)中风险的定义方式意味着其精确形式取决于信息集的设定。信息集的设定方式对风险很重要，正如它在预测的评估和比较中也很重要一样，这一点我们将在本书的第三部分看到。

信息集的设定对于理解许多预测问题至关重要的偏差-方差权衡概念尤为重要。接下来我们使用线性预测模型和均方误差损失的特殊情形来说明这一点。我们假设并非所有可能的预测变量都已纳入模型。

假设有 $K$ 个潜在预测变量，并令 $Z_T$ 为一个随机变量，用于捕捉所有 $K$ 个潜在预测变量的当前和过去值，包括结果变量 $y$ 的过去和当前值。类似地，令 $Z_{kT}$ 为由 $k<K$ 个预测变量的子集生成的随机变量。最后，定义 $Z_{-kT}$ 为由被省略变量子集生成的随机变量，因此 $Z_{-kT}\cup Z_{kT}=Z_T$。注意，根据我们对 $Z_T$ 整体求积分还是仅对其子集求积分，公式(3.15)会得到不同的表达式。

例 3.2.6（子集回归的风险）。考虑与例 3.2.3 相同的问题。然而，假设预测模型仅包含 $k<K$ 个回归元，除非所有变量（包括 $y$）的均值均为 0，否则模型中包含一个常数项。

$\beta$ 的最小二乘估计量可写为 ${\hat{\beta }}_{kT}$，其中 ${\hat{\beta }}_{kT}$ 的维度与 $\beta$ 相同，在省略变量的位置用 0 代替，而在其余位置（即 $x_t$ 对应的位置）则用 $y_{t+1}$ 对所包含回归元进行回归得到的最小二乘估计量。考虑估计因素，预测误差由下式给出：

$$\begin{array}{rl}& y_{T+1}-{\hat{\beta }}_k^{\prime }{x}_T={\epsilon }_{T+1}+(\beta -{\hat{\beta }}_k{)}^{\prime }{x}_T\\ & ={\epsilon }_{T+1}+(\beta -E[{\hat{\beta }}_k|Z_{-kT}]{)}^{\prime }{x}_T+(E[{\hat{\beta }}_k|Z_{-kT}]-{\hat{\beta }}_k{)}^{\prime }{x}_T,\end{array}$$

其中 $E[{\hat{\beta }}_k|Z_{-kT}]$ 是在给定被省略回归元条件下 ${\hat{\beta }}_k$ 的条件期望。这就是标准的被省略变量偏差公式，其中普通最小二乘（OLS）估计量的均值是省略变量的函数。

仅对 $(y_{T+1},Z_{kT})$ 求平方预测误差的积分（以 $Z_{-kT}$ 为条件），期望损失变为

$$\begin{array}{rl}& E\left[{\left({\epsilon }_{T+1}+(\beta -E({\hat{\beta }}_k|Z_{-kT}){)}^{\prime }{x}_T+(E({\hat{\beta }}_k|Z_{-kT})-{\hat{\beta }}_k{)}^{\prime }{x}_T\right)}^2|Z_{-kT}\right]\\ & ={\sigma }^2+E\left[({\hat{\beta }}_k-E({\hat{\beta }}_k|Z_{-kT}){)}^{\prime }{x}_T{x}_T^{\prime }({\hat{\beta }}_k-E({\hat{\beta }}_k|Z_{-kT}))|Z_{-kT}\right]\\ & +\left[(\beta -E({\hat{\beta }}_k|Z_{-kT}){)}^{\prime }E[x_T{x}_T^{\prime }|Z_{-kT}](\beta -E({\hat{\beta }}_k|Z_{-kT}))\right].\end{array}\text{\hspace{1em}(3.21)}$$

第二项是与估计误差相关的方差项。使用与例 3.2.3 相同的数学方法，这第二项近似等于 ${\sigma }^{2}k/T$。第三项是偏差项。

我们将(3.21)中的第二项和第三项（即大方括号内的项）统称为"估计效应项"。注意，除了收集更多数据从而进一步扩大 $Z_T$ 之外，第一项是无法通过其他方式改进的，尽管这条改进预测的途径永远不应被忽视。

这种问题的表述方式产生了均方误差计算中常见的偏差-方差权衡。当预测由线性回归构建且包含常数项时，我们只能在以潜在省略预测变量为条件的意义下考虑有偏预测的概念。预测模型构建中出现的几乎所有选择，无论损失函数为何，都围绕着添加预测变量的成本与收益展开。在均方误差损失下，我们可以看到在方差项（即(3.21)中的第二项）与偏差平方项（第三项）之间存在权衡。

增加变量会通过方差项增加损失，方差项会增加 ${\sigma }^2/T$。然而，潜在的好处是，由于多估计了 $\hat{\beta }$ 的一个参数，偏差项 $(\beta -E({\hat{\beta }}_k|Z_{-kT}))$ 可能会因此变小。

方差项以速率 $T$ 消失,因此作为样本量的函数,其阶数小于(3.21)中的第一项。对于严重错误设定的回归,偏差项可能与第一项具有相同的阶数,因此对于足够大的偏差,该项可以以一个数量级压倒方差项。但请注意,合理应用的统计检验通常可以用来排除这种情况。回想一下,在标准假设下(当然对于我们的独立同分布例子也是如此),回归系数显著性假设检验的功效以速率 $\sqrt{T}$ 增长。这意味着在偏差项阶数大于方差项的情况下,模型错误设定的统计检验具有良好的功效。当统计检验发现难以区分模型时,偏差-方差权衡就变得更加复杂。

注意(3.21)中的风险是 $Z_{-kT}$ 的函数。或者,我们可以考虑对所有 $Z_T$ 进行积分,以获得风险的不同表达式,我们将在下一个例子中展示。

例 3.2.7(子集回归的风险,续)。考虑与例 3.2.6 相同的问题。我们可以将完整回归写成

$$\begin{array}{rl}& y_{t+1}={\beta }^{\prime }{x}_t+{\epsilon }_{t+1}\\ & =(\beta -{\beta }_k^{\ast }+{\beta }_k^{\ast }{)}^{\prime }{x}_t+{\epsilon }_{t+1}\\ & ={\beta }_k^{\ast \prime }{x}_t+u_{t+1},\end{array}$$

其中 $u_{t+1}=(\beta -{\beta }_k^{\ast }{)}^{\prime }{x}_t+{\epsilon }_{t+1}$,且 ${\beta }_k^{\ast }$ 最小化 $E[(y_{t+1}-{\beta }_k^{\prime }{x}_T{)}^2]$,其中期望是对所有随机变量计算的。$u_{t+1}$ 的方差是 ${\sigma }_u^2={\sigma }^2+(\beta -{\beta }_k^{\ast }{)}^{\prime }{\Sigma }_X(\beta -{\beta }_k^{\ast })\Sigma {\sigma }^2$,其中 ${\Sigma }_X=E[x_t{x}_t^{\prime }]$。现在要运行的回归被视为具有较大方差的"短"回归。由例 3.2.3 的结果直接可得风险为

$$R(\theta ,{\hat{\beta }}_k^{\prime }{x}_T)=\left((\beta -{\beta }_k^{\ast }{)}^{\prime }{\Sigma }_X(\beta -{\beta }_k^{\ast })\right)(1+k/T)\text{\hspace{1em}(3.22)}$$

$$={\sigma }_u^2(1+k/T).\text{\hspace{1em}(3.23)}$$

因此缩放变量 ${\sigma }_u^2$ 大于例 3.2.6 中表达式的值。

(3.23)中的表达式是(3.21)在被省略变量 $Z_{-kT}$ 上的平均值。在我们将被省略变量积分掉的这个版本中,"估计效应项"与不可预测的分量卷积在一起。第一种方法通常在比较模型时更为有用。对于方差项随样本量增大而渐近消失的方法,其结果通常归结为 ${\sigma }^2$ 与 ${\sigma }_u^2$ 之间的比较。例如,对于本书第三部分涵盖的许多样本外预测评估方法,这一点成立。