14.4 模型组合

14.4 模型组合

当各单独预测所基于的数据被观测到时，我们可以考虑构建来自许多不同模型的预测，然后对这些预测进行平均。除了构建单独预测的第一步之外，这一设置与前面讨论的预测组合问题完全相同。事实上，如果我们忽略预测是如何构建的，第14.1节中讨论的所有方法都可用于模型组合。然而，在模型组合中，明确认识到这些模型依赖于相似的数据，并且这样的数据可用于构建模型权重。因此，在考虑其抽样性质时，将单独的预测视为固定的并不合理。此外，忽略关于模型预测如何构建的信息可能会未能充分利用可用数据。模型组合正是试图解决这一问题。

对于线性组合，模型平均预测为

$$f^c=\sum _{i=1}^m{\omega }_i{f}_i,$$

其中各单独预测 $f_i$ 依赖于某些基础数据 $z_t$。我们通常假设权重之和为1，并且常常限制其为非负。

一种构建模型平均的方法使用依赖于AIC的权重。Hjort和Claeskens（2003）表明，由此得到的权重可以近似为

$${\omega }_i\approx \frac{\exp (-0.5{\mathrm{AIC}}_i)}{{\sum }_{i=1}^m\exp (-0.5{\mathrm{AIC}}_i)},\text{\hspace{1em}(14.24)}$$

从而使得AIC值最小（即相对于惩罚因子的拟合最好）的模型在组合中被赋予最大的权重。该方法不要求组合中的模型是线性回归；参见第6章关于AIC准则的一般性。基于AIC来确定权重意味着基础数据的重要性同时体现在通过预测模型的拟合程度，以及通过对不同维度预测模型施加的惩罚差异上。其他信息准则如BIC也可以使用，我们将在下面讨论。

Hansen（2007，2008a）建议使用通过最小化Mallows $C_p$ 准则构建的权重来组合线性回归模型。他的设置考虑了 $m$ 个协变量，它们自然地从1到 $m$ 排序。${}^9$ 然后我们可以构建协变量集 $z_i$，使其包含从1到 $i\le m$ 的所有 $z$ 变量，因此 $z_i$ 是 $i\times 1$ 的。该方法要求模型采用嵌套设置，并忽略了变量1和3被包含而变量2不被包含的可能性。此外，该方法对变量的排序不具有不变性。基于相同方法的不同排序，即使变量本身相同，也可能产生不同的结果。

该方法的工作原理如下。对于每个模型，将 $y$ 投影到 $z_i$ 上，得到预测误差 $e_i$。将这些预测误差放入一个 $(T\times m)$ 的矩阵 $e$ 中，权重的选取如下

$${\hat{\omega }}_H=\arg \underset{\omega }{\min }{\omega }^{\prime }{e}^{\prime }e\omega +2{\hat{\sigma }}^2{k}^{\prime }\omega ,$$

$$\text{约束条件为}{\omega }^{\prime }{\iota }_m=1,{\omega }_i\ge 0\text{ 对于 }i=1,\dots ,m。$$

这里 $\omega$ 是权重，${\hat{\sigma }}^2$ 是真实模型残差方差的估计——在Hansen（2007）中，这是一个具有无限多回归变量的模型——而 $k$ 是一个 $(m\times 1)$ 的向量，其元素 $k_i$ 等于第 $i$ 个回归中回归变量的数量。在实践中，Hansen建议从一个使用所有 $m$ 个回归变量的模型来估计 ${\hat{\sigma }}^2$。所使用的目标函数类似于Bates和Granger（1969）在估计的方差-协方差矩阵处所评估的目标函数，并附加了一项通过向量 $k$ 对不同大小的模型进行不同惩罚的项。该方法是为i.i.d.的结果和回归变量而开发的，但可以更一般地使用，尽管不具备Hansen（2007）中确立的性质。