14.4.1 完全子集回归

14.4.1 完全子集回归

Elliott、Gargano 和 Timmermann（2013）提出了一种估计方法，该方法使用基于所有可能模型的等权重预测组合，但每个模型限定包含固定（给定）数量的回归变量，$k\le K$。他们将这种方法命名为完全子集回归（complete subset regressions），其做法是：首先将因变量 ${\mathbf{y}}_t$ 对给定回归变量的子集进行回归，然后对所有 $k$ 维回归变量子集的结果取平均。

假设全模型中有 $K$ 个回归变量，每个子集模型选取 $k$ 个回归变量，则需要进行平均的子集回归数量为 $n_{k,K}=K!/(k!(K-k)!)$。例如，在单变量情形 $k=1$ 下，有 $n_{1,K}=K$ 个回归，每个回归只包含一个变量。${\hat{\mathbf{\beta }}}_i$ 的所有元素均为 0，除了第 $i$ 行中将 $y$ 对 $x_i$ 做最小二乘回归得到的估计值。各单变量回归模型预测值的等权重组合为

$$f^c=\frac{1}{K}\sum _{i=1}^K{x}_i^{\prime }{\hat{\beta }}_i.\text{\hspace{1em}(14.25)}$$

子集回归系数可以计算为各子集回归最小二乘估计的平均。当协变量之间存在相关性时，各单个回归会受到遗漏变量偏差的影响，但 Elliott、Gargano 和

Timmermann（2013）表明，子集回归估计量本身近似地是全回归 OLS 估计量 ${\hat{\mathbf{\beta }}}_{\mathrm{ols}}$ 的加权平均。假设 $K$ 固定，令 $S_i$ 为一个 $(K\times K)$ 矩阵，除了在对角线上对应于被纳入变量的位置为 1 以外，其余元素均为 0；即如果 $S_i$ 的 $(j,j)$ 元素为 1，则第 $j$ 个回归变量被纳入；如果该元素为 0，则第 $j$ 个回归变量被排除。

假设随着样本量增大，${\hat{\mathbf{\beta }}}_{\mathrm{ols}}\stackrel{P}{\to }{\mathbf{\beta }}_0$（对某个 ${\beta }_0$）且 $T^{-1}{X}^{\prime }X\stackrel{p}{\to }{\Sigma }_X$，则完全子集回归估计量 ${\hat{\beta }}_{k,K}$ 可写为

$${\hat{\beta }}_{k,K}={\Lambda }_{k,K}{\hat{\beta }}_{\mathrm{ols}}+o_P(1),\text{\hspace{1em}(14.26)}$$

其中

$${\Lambda }_{k,K}\equiv \frac{1}{n_{k,K}}\sum _{i=1}^{n_{k,K}}{\left(S_i^{\prime }{\Sigma }_X{S}_i\right)}^{-}(S_i^{\prime }{\Sigma }_X).$$

在协变量正交的特殊情况下，${\hat{\beta }}_{k,K}={\lambda }_{k,K}{\hat{\beta }}_{\mathrm{ols}}$，其中 ${\lambda }_{k,K}=1-(n_{k,K-1}/n_{k,K})$ 是一个标量，子集回归退化为岭回归。

由 ${\lambda }_{k,K}$ 所隐含的收缩量同时取决于 $k$ 和 $K$，$k$ 相对于 $K$ 越小，收缩量就越大。该结果将模型平均所提供的收缩与单个系数上的收缩联系起来，而典型的贝叶斯方法则将二者分离开来。一般而言，${\Lambda }_{k,K}$ 仅在回归变量不相关时才（近似或精确地）退化为岭估计量。如果该条件不成立，则子集回归系数不能被解释为对 OLS 估计进行逐个回归变量简单收缩的结果，而是依赖于所有回归变量的完整协方差矩阵。

图 14.8 展示了完全子集回归方法在我们之前对美国股票收益率的应用。我们使用包含 11 个候选预测变量的列表，因此本应用中 $K=11$。横轴为 $k$，即被纳入预测变量的数量，从 $k=0$（即当前的均值）变化到 $k=11$（即"厨房水槽"模型）。纵轴为均方根误差（RMSE）。对于每个 $k$ 值，圆圈所在的列显示了恰好包含 $k$ 个预测变量的所有模型的 RMSE 值，而实心三角形显示了这些模型的平均 RMSE 值。例如，$k=1$ 和 $k=10$ 时各有 11 个不同的 RMSE 值，$k=2$ 和 $k=9$ 时各有 55 个不同的 RMSE 值。中间 $k$ 值所对应的取值范围更大，部分原因是这些 $k$ 值所对应的待比较模型数量更多。但请注意，对于给定的 $k$，平均 RMSE 表现随着 $k$ 增大而呈上升趋势，这反映了在回归变量集合较大时估计误差的重要性日益上升。

圆圈下方的曲线给出了对应于给定 $k$ 值的完全子集回归的 RMSE 值。值得注意的是，该曲线低于相同回归变量数量下任何单个模型的最低 RMSE 值。完全子集回归曲线的最小值在 $k=2$ 处取得。在该点（以及 $k=1$ 或 $k=3$ 处），完全子集回归预测的 RMSE 低于当前均值的 RMSE。它也低于跨所有模型计算的等权重平均预测所对应的 RMSE，因为后者往往对含有大量回归变量且预测表现较差的模型赋予了过大的权重。

图 14.8：使用 11 个预测变量对股票收益率进行的完全子集回归组合预测。

在高维度弱预测能力的预测变量集环境中，Elliott、Gargano 和 Timmermann（2015）通过解析方法证明了完全子集回归方法能够实现方差缩减，并通过应用于美国失业率、GDP 增长和通货膨胀的实证研究（以及蒙特卡罗模拟）发现，与单变量模型或动态因子模型相比，该方法建立了更有利的偏差-方差权衡。