6.5 LASSO模型选择

6.5 LASSO模型选择

Lasso——最小绝对收缩和选择算子——由Tibshirani (1996)提出，作为最小二乘回归的收缩估计量，并在第4章中简要讨论过，它还具有有用的模型选择性质。Lasso方法通过在惩罚函数约束下最小化最小二乘残差之和来估计线性回归系数，

$$T^{-1}\sum _{t=0}^{T-1}(y_{t+1}-{\beta }^{\prime }{x}_t{)}^2+\lambda \sum _{i=1}^{n_k}|{\beta }_i|.\text{\hspace{1em}(6.25)}$$

这里 $\lambda >0$ 是一个调优参数，捕捉惩罚函数的（相对）权重，其作用是将参数估计向0收缩。由于所有非零参数值都受到相同数量的惩罚——$\lambda$ 是一个标量而非向量——因此假设所有预测变量 $x_t$ 的方差都已缩放为1。一般来说，(6.25)式中目标函数的最小化没有封闭形式的解，因此需要使用计算方法。

使用平方目标函数并以参数的绝对值进行惩罚意味着对于参数估计 ${\hat{\beta }}_i$ 为0的情况存在许多角点解。这促使我们将Lasso视为一种模型选择工具：只需选择移除那些对应于估计值为0的 $\beta$ 的x变量后所剩余的模型。

为了理解为什么在Lasso方法下会出现角点解，我们遵循Tibshirani (1996)的思路，考虑矩阵形式的线性回归模型 $Y=X\beta +\epsilon$，并假设回归变量已经被正交化，使得 $X^{\prime }X=I$ 且 ${\hat{\beta }}^{\mathrm{ols}}=X^{\prime }Y$。最小二乘预测为 $\hat{Y}=X{\hat{\beta }}^{\mathrm{ols}}$，因此（以矩阵形式）

$$T^{-1}(Y-X\beta {)}^{\prime }(Y-X\beta )+\lambda \sum _{i=1}^{n_k}|{\beta }_i|\text{\hspace{1em}(6.26)}$$

$$=T^{-1}(Y-\hat{Y}+\hat{Y}-X\beta {)}^{\prime }(Y-\hat{Y}+\hat{Y}-X\beta )+\lambda \sum _{i=1}^{n_k}|{\beta }_i|\text{\hspace{1em}(6.27)}$$

$$=T^{-1}(Y-\hat{Y}{)}^{\prime }(Y-\hat{Y})+(\hat{Y}-X\beta {)}^{\prime }(\hat{Y}-X\beta )+\lambda \sum _{i=1}^{n_k}|{\beta }_i|,\text{\hspace{1em}(6.28)}$$

其中交叉项由于 $X^{\prime }X=I$ 而消失，且

$$(\hat{Y}-X\beta {)}^{\prime }(Y-\hat{Y})=({\hat{\beta }}^{\mathrm{ols}}-\beta {)}^{\prime }{X}^{\prime }(Y-\hat{Y})=({\hat{\beta }}^{\mathrm{ols}}-\beta {)}^{\prime }(X^{\prime }Y-X^{\prime }X{X}^{\prime }Y)=0.$$

(6.28)式中的第一项不依赖于 $\beta$ 的选择，第二项为

$$\begin{array}{rl}(\hat{Y}-X\beta {)}^{\prime }(\hat{Y}-X\beta )& =(X{\hat{\beta }}^{\mathrm{ols}}-X\beta {)}^{\prime }(X{\hat{\beta }}^{\mathrm{ols}}-X\beta )\\ & =({\hat{\beta }}^{\mathrm{ols}}-\beta {)}^{\prime }({\hat{\beta }}^{\mathrm{ols}}-\beta )\\ & =\sum _{i=1}^{n_k}({\hat{\beta }}_i^{\mathrm{ols}}-{\beta }_i{)}^2.\end{array}$$

因此，对 $\beta$ 最小化(6.28)式等价于逐变量最小化，即对每个 $i$ 求

$${\hat{\beta }}_{i,\mathrm{lasso}}=\arg \underset{{\beta }_i}{\min }\left[({\hat{\beta }}_i^{\mathrm{ols}}-{\beta }_i{)}^2+\lambda |{\beta }_i|\right].\text{\hspace{1em}(6.29)}$$

该问题的一阶条件给出结果 $-({\hat{\beta }}_i^{\mathrm{ols}}-{\beta }_i)+(T\lambda /2)\mathrm{sign}({\beta }_i)=0$，或者经重新排列后，${\beta }_i={\hat{\beta }}_i^{\mathrm{ols}}-(T\lambda /2)\mathrm{sign}({\beta }_i)$。这意味着如果 $|{\hat{\beta }}_i^{\mathrm{ols}}|<T\lambda /2$，则 ${\beta }_i$ 必须为0。要看到这一点，假设 ${\beta }_i>0$，则 ${\beta }_i={\hat{\beta }}_i^{\mathrm{ols}}-T\lambda /2<0$，因为我们假设了 $|{\hat{\beta }}_i^{\mathrm{ols}}|<T\lambda /2$。因此 ${\beta }_i$ 不可能为正。但如果 ${\beta }_i<0$，则 ${\beta }_i={\hat{\beta }}_i^{\mathrm{ols}}+T\lambda /2>0$，通过同样的假设，这也不可能成立。

图6.1：Lasso下的模型选择。

相反，如果 ${\hat{\beta }}_i^{\mathrm{ols}}>T\lambda /2$，则 ${\beta }_i={\hat{\beta }}_i^{\mathrm{ols}}-(T\lambda /2)\mathrm{sign}({\beta }_i)>0$，如果 ${\hat{\beta }}_i^{\mathrm{ols}}<-T\lambda /2$，则 ${\beta }_i={\hat{\beta }}_i^{\mathrm{ols}}-\mathrm{sign}({\beta }_i)T\lambda /2<0$。这些结果可以总结如下：

$${\hat{\beta }}_{\mathrm{lasso},i}=\mathrm{sign}({\hat{\beta }}_i^{\mathrm{ols}})(|{\hat{\beta }}_i^{\mathrm{ols}}|-T\lambda /2)1(|{\hat{\beta }}_i^{\mathrm{ols}}|>T\lambda /2).$$

因此，对于 $|{\hat{\beta }}_i^{\mathrm{ols}}|<T\lambda /2$，系数估计被设为0。$\lambda$ 越大，惩罚越强，更多系数将被设为0。更多分析和细节请参见Tibshirani (1996)。

我们还可以通过在二维（即只有两个协变量）中考虑该问题来直观地看到这一效果。要看到这一点，考虑模型

$$y_i={\beta }_1{x}_{1i}+{\beta }_2{x}_{2i}+{\epsilon }_i,$$

因此我们面对一个二元问题，并可以在 $({\beta }_1,{\beta }_2)$ 空间中绘制它。假设目标函数是二次的，则其等高线 $(y_i-{\beta }_1{x}_{1i}-{\beta }_2{x}_{2i}{)}^2=z$ 在 $({\beta }_1,{\beta }_2)$ 空间中为椭圆。图 6.1 可视化了这一效果。

LASSO 约束现在具有如下形式：$|{\beta }_1|+|{\beta }_2|\le s$，即

$$\begin{array}{r}{\beta }_1+{\beta }_2\le s,{\beta }_1>0,{\beta }_2>0,\\ \\ -{\beta }_1+{\beta }_2\le s,{\beta }_1<0,{\beta }_2>0,\\ {\beta }_1-{\beta }_2\le s,{\beta }_1>0,{\beta }_2<0,\\ \\ -{\beta }_1-{\beta }_2\le s,{\beta }_1<0,{\beta }_2<0,\end{array}$$

这在原点 0 周围构成了一个"菱形"，其顶点坐标为 $(0,s)$、$(0,-s)$、$(s,0)$ 和 $(-s,0)$。图 6.1 以图形方式展示了这一点，其中菱形即为上述约束集合，椭圆则针对使约束恰好起作用的 $z$ 值绘制。椭圆与约束在顶点处相交的概率很高——如图 6.1 所示，在该约束处有 ${\beta }_1=0$。

在实际应用中必须对 $\lambda$ 进行选择。选择 $\lambda =0$ 将得到最小二乘估计，这意味着几乎总会选出最大的模型。$\lambda$ 选取得越大，个体 $\beta$ 值被设为 0 的可能性就越大，从而更有可能选择一个更为简洁的模型。毫不奇怪，$\lambda$——或 ${\lambda }_T$，因为通常建议令其为样本量 $T$ 的函数——的实际选择会影响该方法的性质。典型的结论提供的是关于 ${\lambda }_T$ 的速率条件，而非确定一个具体值，并且这些结论是在固定回归量、i.i.d. 数据的设定下推导得出的。例如，Belloni 和 Chernozhukov (2011) 建议对接近（但小于）1 的 $\alpha$ 以及 $c>1$ 设定 ${\lambda }_T=2c\sigma \sqrt{T}{\Phi }^{-1}(1-\alpha /2n_k)$，其中 $\Phi (\cdot )$ 为正态累积分布函数，${\sigma }^2$ 为真实模型残差的方差。

估计 LASSO 系数的主要困难在于目标函数不可微，因此标准的爬山优化算法对求解 (6.25) 式中的最小化问题没有用处。然而，近年来该估计问题已成为研究热点，目前已存在许多即使在 $X$ 的维数很大时也能有效工作的方法。

在通过 LASSO 选定一个模型之后，可以加入一个 LASSO 后处理步骤，即使用普通最小二乘法或类似方法估计该模型的参数。

LASSO 方法已被推广到更广泛的惩罚最小二乘估计量族，其系数通过最小化下式估计：

$$T^{-1}\sum _{t=0}^{T-1}(y_{t+1}-{\beta }^{\prime }{z}_t{)}^2+\sum _{i=1}^k{p}_{\lambda }(|{\beta }_i|),$$

其中 $p_{\lambda }$ 为惩罚函数。Bridge 估计量设定 $p_{\lambda }(|{\beta }_i|)=|{\beta }_i{|}^{\gamma }$，其中 $\gamma \ge 0$。作为一种特殊情况，当 $\gamma =1$ 时得到 LASSO，而 $\gamma =2$ 时则得到 Ridge 估计量。对于 $\gamma \le 1$，当惩罚值足够大时，该估计量保持使部分 $\beta$ 的估计值为 0 的性质；理论结果可参见 Fan 和 Li (2001)，综述可参见 Fan、Lv 和 Qi (2011)。