10.2.5 贝叶斯方法

10.2.5 贝叶斯方法

De Mol、Giannone 和 Reichlin（2008）将主成分方法的预测表现与带有高斯先验或双重指数先验的贝叶斯线性回归模型进行了比较。带有高斯先验的贝叶斯回归会使所有考虑变量的系数均不为零，尽管这些系数相对于其普通最小二乘（OLS）对应估计有所收缩。事实上，在假设回归系数独立同分布的条件下，带有高斯先验的贝叶斯预测等价于岭回归。为了说明这一点，考虑如下线性回归模型，其先验为 $\beta \sim \mathrm{N}({\beta }_0,{\Sigma }_0)$，残差独立同分布且服从正态分布：$y_{t+1}={\beta }^{\prime }{x}_t+u_{t+1}$，$u\sim \text{i.i.d. }\mathrm{N}(0,{\sigma }_u^2)$。

如果我们限制先验参数之间相互独立，即 ${\Sigma }_0={\sigma }_{\beta }^{2}I$，正如 De Mol、Giannone 和 Reichlin（2008）所指出的，贝叶斯估计问题将退化为岭回归：

$${\hat{\beta }}^{\mathrm{Bayes}}=\arg \underset{\beta }{\min }\left\{\Vert y-X\beta {\Vert }^2+({\sigma }_u^2/{\sigma }_{\beta }^2)\Vert \beta {\Vert }^2\right\},\text{\hspace{1em}(10.21)}$$

其中 $\Vert \cdot \Vert$ 表示欧几里得范数，$X$ 和 $y$ 分别堆叠了 $y_{\tau +1}$ 和 $x_{\tau }$ 的样本观测值。

假设收缩目标是 $0$（即 ${\beta }_0=0$），且方差 ${\sigma }_u^2$ 已知，则贝叶斯估计量和预测可表示为：

$$\begin{array}{rl}{\hat{\beta }}^{\mathrm{Bayes}}& =(X^{\prime }X+{\sigma }_u^2{\Sigma }_0^{-1}{)}^{-1}{X}^{\prime }y,\\ {\hat{f}}_{t+1|t}& =x_t^{\prime }{\hat{\beta }}^{\mathrm{Bayes}}.\end{array}\text{\hspace{1em}(10.22)}$$

与高斯先验的情况不同，双重指数先验倾向于对各个回归变量赋予较大或为零的权重，从而产生稀疏的预测模型。在双重指数先验下，系数没有闭式解，但优化问题可归结为惩罚最小绝对偏差问题，因此可以使用 Lasso 算法求解。

利用 Stock 和 Watson（2005）的数据来预测工业生产增长和通货膨胀，De Mol、Giannone 和 Reichlin（2008）在实证研究中发现，尽管高斯先验和双重指数先验对模型选择具有截然不同的含义，但基于这两类先验生成的贝叶斯线性回归预测之间具有很强的相关性，并产生非常相近的均方预测误差。这两组预测又与主成分回归生成的预测结果相似。两种表面上截然不同的方法——一种倾向于选择少数预测变量的稀疏模型，另一种则对大多数预测变量赋予非零权重——之所以能够产生相似的预测结果和预测精度，原因当然在于底层的 $X$ 变量之间存在高度共线性。在这种情况下，许多变量之间几乎是相互替代的，因此具体选择哪些变量或选择多少变量并不会产生太大的影响。