6.6 硬阈值与软阈值：装袋法

6.6 硬阈值与软阈值：装袋法

按设计，模型选择为构建模型提供了硬阈值，因为变量要么被包含（"in"），要么被排除（"out"）。如果能完全确定 $\beta$ 的值要么为 0 要么远离 0，从而每个变量都应被纳入或排除模型，那么这种方法就是合理的。如果允许那些纳入与否尚不确定的变量产生一定影响，可能会得到更好的预测模型。具有这种性质的一种方法是收缩估计，这将在第 4 章讨论。第二种方法是组合预测模型，而不是选择单一设定。在这种情况下，可以以这样的方式组合模型：对包含已知有价值变量的模型赋予较大权重，而对使用纳入与否更不确定的变量的模型赋予较低权重。从这个意义上说，所有变量都可以被包含，其权重反映我们认为它们的有用程度。模型组合将在第 14 章讨论。第三种方法是装袋法（Bagging），可视为本章所讨论的许多方法的扩展。

装袋法是 bootstrap aggregating（自助聚合）的简称，是一种估计预测变量的一般方法。该方法由 Breiman（1996）提出，此处将其纳入讨论是因为在预测文献中装袋法的主要应用是对预测模型中的变量选择。该方法将传统模型选择中使用的硬阈值——对应于 0–1 变量选择指标——修改为软阈值，允许变量选择指标取连续值。该方法包含以下三个步骤，用于从数据 $\{y_{t+1},z_t{\}}_{t=1}^{T-1}$ 中获得估计量 $\hat{\beta }$：

1. 对数据 $\{y_{t+1},x_t{\}}_{t=1}^{T-1}$ 抽取重抽样样本，以获得与原始样本长度相同的自助样本 $\{y_{t+1}^b,x_t^b{\}}_{t=1}^{T-1}$。

2. 基于数据的第 $b$ 个重抽样样本计算 ${\beta }_j$ 的估计量 ${\hat{\beta }}_j^b$，$b=1,\dots ,B$。

3. 将最终估计量 ${\bar{\beta }}_j$ 计算为重抽样估计量 $\{{\hat{\beta }}_j^b{\}}_{b=1}^B$ 的均值或某个其他函数。

步骤 (1) 和 (3) 可以根据假定的数据生成过程以及最终估计量的目标性质进行调整。例如，在 Breiman 的原始公式中，数据是独立同分布的，因此选择独立同分布的（经验）自助法。如果数据是相关的，则需要保持相关性的自助法。例如，Inoue 和 Kilian（2008）使用允许相关数据的块自助法。也可以采用其他方法，从而得到不同的估计量和不同的风险函数。

例 6.6.1（模型选择中的装袋法）。 装袋法可用于确定变量的纳入，以获得预测变量：

$$f_{t+1|t}=B^{-1}\sum _{b=1}^B\left({\hat{\beta }}_{0k}^b+\sum _{k=1}^K{\hat{\beta }}_k^{b}1\left(|t_{{\hat{\beta }}_k}^b|>\bar{t}\right)\right)x_{kt},\text{\hspace{1em}(6.32)}$$

其中第 $b$ 个自助法的指示变量 $1(|t_{{\hat{\beta }}_k}^b|>\bar{t})$，当回归模型中第 $k$ 个 $t$ 统计量 $t_{{\hat{\beta }}_k}^b$ 的绝对值超过阈值 $\bar{t}$ 时等于 1。

基于硬阈值的模型选择是一个装袋法有望产生更好结果的领域；例如，在独立同分布数据情境下可参见 Bühlmann 和 Yu（2003）。尽管在任意给定的重抽样中使用硬阈值来选择模型，但由于在第二步中跨不同重抽样选择不同模型，然后在第三步中对这些选择进行平均，装袋法将其转化为软阈值。

6.6.1 广义收缩方法

Stock 和 Watson（2012）表明，在具有 $n_k$ 个预测变量的线性回归模型情境下，上述许多方法可以视为广义收缩方法：

$$Y_{t+1}={\beta }^{\prime }{X}_t+{\epsilon }_{t+1},t=0,\dots ,T-1,\text{\hspace{1em}(6.33)}$$

其中回归变量 $X_t$ 已被正交化，即标准化为零均值和单位方差且互不相关，使得 $X_t^{\prime }{X}_t/T=I_{n_k}$。Stock 和 Watson 表明，在渐近情况下且在不要求预测变量严格外生的假设下，

基于预检验、装袋法和正态贝叶斯方法的预测可以写成广义收缩形式

$$f_{T+1|T}=\sum _{i=1}^{n_k}\psi (\kappa t_i){\hat{\beta }}_i{X}_{iT}+o_{\hat{P}}(1),$$

其中 ${\hat{\beta }}_i=T^{-1}{\sum }_{t=0}^T{X}_{it-1}{Y}_t$ 是 ${\beta }_i$ 的最小二乘估计量，$t_i=\sqrt{T}{\hat{\beta }}_i/{\hat{\sigma }}_e$，且 ${\hat{\sigma }}_e^2={\sum }_{t=0}^{T-1}(Y_{t+1}-{\hat{\beta }}^{\prime }{X}_t{)}^2/(T-n_k)$。标量 $\kappa$ 取决于预测方法。对于预检验方法，收缩函数取形式 $\psi (t_i)=1(|\kappa t_i|>c)$，其中 $c$ 是阈值。例如，渐近地，AIC 设定 $c=\sqrt{2}$。