4.2.3 基于惩罚损失函数的估计

4.2.3 基于惩罚损失函数的估计

预测模型参数估计的需要增加了相关预测的风险。在平方误差损失下，参数估计误差通常会增加一个 $T^{-1}$ 阶的项。尽管这个项在渐近意义上可以忽略，但在实践中它仍然可能是风险的显著增加。这在使用月度、季度甚至年度数据的实际预测问题中尤为真实，因为这些情况下样本容量并不是很大，估计误差可能很重要。

选择 $\hat{\mathbf{\beta }}$ 以最小化样本内损失的替代方法是使用一种对样本内平均损失施加惩罚或对预测模型维度施加约束的方法。在这种情况下，我们将 $\hat{\mathbf{\beta }}$ 选择为如下拉格朗日函数的最小化解：

$$\hat{\beta }=\arg \underset{\beta }{\min }{T}^{-1}\sum _{t=0}^{T-1}L(f(z_t,\beta ),y_{t+1})+\lambda k(\beta ),\text{\hspace{1em}(4.10)}$$

其中 $\lambda \ge 0$。我们可以将 (4.10) 视为带有惩罚项 $\lambda k(\beta )$ 的惩罚损失函数。将该方法应用于平方误差损失和线性模型，我们有

$$\hat{\beta }=\arg \underset{\beta }{\min }{T}^{-1}\sum _{t=0}^{T-1}(y_{t+1}-{\beta }^{\prime }{z}_t{)}^2+\lambda k(\beta ),$$

其中函数 $k(\beta )$ 的不同选择会产生不同的方法。岭回归设定 $k(\beta )={\sum }_{i=1}^k{\beta }_i^2$，而扩展岭方法则使用 $k(\beta )={\beta }^{\prime }A\beta$，其中 $A$ 为某个矩阵。岭回归最初是为处理线性回归中的多重共线性而提出的。尽管多重共线性对预测来说并不是一个问题，但岭估计量实际上是一个收缩估计量，在预测中可能是有用的。

Tibshirani (1996) 提出的 Lasso（最小绝对收缩和选择算子）方法设定 $k(\beta )={\sum }_{i=1}^k|{\beta }_i|$，同样产生一个收缩估计量。该方法常用于变量选择（见第6章），因此在可能预测变量数量较多、而其中只有少数具有足够预测能力应被纳入模型的情况下非常有用。Bai 和 Ng (2008) 考虑了用 Lasso 方法来预测美国通货膨胀，而 Elliott、Gargano 和 Timmermann (2013) 则提供了 Lasso 和岭方法在美国股票市场收益可预测性方面的应用。

另一个更近期的方法是由 Zou 和 Hastie (2005) 提出的弹性网估计量。它使用惩罚项 $k(\beta )={\lambda }_1{\sum }_{i=1}^k|{\beta }_i|+{\lambda }_2{\sum }_{i=1}^k{\beta }_i^2$，其中 ${\lambda }_1,{\lambda }_2\ge 0$，这是 Lasso 和岭惩罚项的凸组合。通过使用这样的惩罚项组合，希望能够避免 Lasso 在组内许多预测变量具有相似预测能力时表现较差、以及 Lasso 倾向于从组中任意选择一个预测变量的倾向。Bai 和 Ng (2008) 使用该方法从 100 多个变量中构建通货膨胀预测。

Breiman (1995) 提出的这些方法的一个变体是 Garrote，它通过求解下式来选择参数：

$$\hat{\mathbf{\beta }}=\arg \underset{\mathbf{\beta }}{\min }{T}^{-1}\sum _{t=0}^{T-1}{\left(y_{t+1}-\sum _{i=1}^k{w}_i{\hat{\mathbf{\beta }}}_i{z}_{it}\right)}^2,$$

$$\text{subject to}{w}_i>0\text{ for all }i,\sum _{i=1}^k{w}_i<K,$$

其中 ${\hat{\mathbf{\beta }}}_i$ 是最小二乘估计。然而，该方法在经济学预测文献中并未得到广泛使用。

约束优化方法是收缩估计量的例子，它们将无约束优化方法的系数收缩到一个特定点（通常为 0）。这一点可以在下面的例子中看到。

例 4.2.6。设 $y_t\sim iid(\mu ,{\sigma }^2)$，考虑对 $y_t$ 的均值进行预测。我们可以使用具有最小 MSE 的样本内估计量，但要求满足约束 ${\mu }^2\le K$，以防止 $\mu$ 变得过大。这产生如下形式的惩罚损失函数：

$$\underset{\mu }{\min }\left(T^{-1}\sum _{t=1}^T(y_t-\mu {)}^2+\lambda {\mu }^2\right),\text{\hspace{1em}(4.11)}$$

其中 $\lambda \ge 0$。(4.11) 的解为估计量

$$\hat{\mu }=\left(\frac{T}{T+\lambda }\right)\bar{y},$$

因此该估计量将样本均值向 0 方向进行了收缩。

第二个例子是广义岭估计量。

例 4.2.7。考虑观测值 $\{Y,X\}$，其中 $Y$ 为 $T\times 1$ 维，$X$ 为 $T\times k$ 维。设 $k(\beta )={\beta }^{\prime }A\beta$，其中 $A$ 使得 $A+X^{\prime }X$ 为正定矩阵。则

$$\hat{\mathbf{\beta }}=\arg \underset{\mathbf{\beta }}{\min }\left[(Y-X\mathbf{\beta }{)}^{\prime }(Y-X\mathbf{\beta })+\lambda {\mathbf{\beta }}^{\prime }A\mathbf{\beta }\right]$$

的解为 $\hat{\beta }=(X^{\prime }X+\lambda A{)}^{-1}{X}^{\prime }Y$，这就是广义岭估计量；简单岭估计量设定 $A=I_k$。