5.2 岭估计与收缩估计

5.2 岭估计量与收缩估计量

在均方误差（MSE）损失下，贝叶斯点预测将是给定参数的条件均值在参数后验分布加权下的平均值。设 $\mu (z,\theta )$ 为给定 $z$ 时 $y$ 的条件均值模型，则 MSE 损失下的贝叶斯点预测为

$$f(z)={\int }_{\theta }\mu (z,\theta )\pi (\theta |z)d\theta ,\text{\hspace{1em}(5.8)}$$

其中 $\pi (\theta |z)$ 是给定 $z$ 时 $\stackrel{\rightharpoonup }{\theta }$ 的后验分布。为推导 (5.8)，从下式开始：

$$\begin{array}{r}L(f(z),y)=(y-f(z){)}^2=(y-\mu (z,\theta ){)}^2+(\mu (z,\theta )-f(z){)}^2\\ +2(y-\mu (z,\theta ))\left(\mu (z,\theta )-f(z)\right).\end{array}$$

第一项无论我们如何选择预测 $f(z)$ 都会影响风险，因此在选择 $f(z)$ 以最小化风险时可以忽略该项。根据 $\mu (z,\theta )$ 的定义，第三项的期望值等于 0。于是贝叶斯风险等于一个常数加上第二项，

$$\begin{array}{c}r(\pi ,f)={\int }_z{\int }_{\theta }{\int }_y{\left(\mu (z,\theta )-f(z)\right)}^2{\hat{\mathcal{P}}}_Y(y|z,\theta ){\hat{\mathcal{P}}}_Z(z|\theta )\pi (\theta )d\theta dydz\\ \\ ={\int }_z{\int }_{\theta }{\left(\mu (z,\theta )-f(z)\right)}^2{\hat{\mathcal{P}}}_Z(z|\theta )\pi (\theta )d\theta dz,\end{array}\text{\hspace{1em}(5.9)}$$

其中我们用到了平方损失项与 $y$ 无关这一事实。假设分布允许我们在积分号下求导，一阶条件给出

$$2{\int }_z{\int }_{\theta }\left(\mu (z,\theta )-f(z)\right)p_Z(z|\theta )\pi (\theta )d\theta dz=0.$$

整理后，在给定 $z$ 的条件下，我们有

$$\begin{array}{c}f(z)={\int }_{\theta }\mu (z,\theta )\frac{p_Z(z|\theta )\pi (\theta )}{\int p_Z(z|\theta )\pi (\theta )d\theta }d\theta \\ ={\int }_{\theta }\mu (z,\theta )\pi (\theta |z)d\theta ,\end{array}$$

这正是 (5.8)。因此，在 MSE 损失下，我们可以将条件均值模型与后验分布相结合来计算贝叶斯点预测。

对于线性预测模型，我们有 $\mu (z,\theta )={\beta }^{\prime }z$。注意到 $\begin{array}{r}{\int }_{\beta }({\beta }^{\prime }z)\pi (\beta |z)d\beta ={\tilde{\beta }}^{\prime }\dot{z}\end{array}$，其中 $\tilde{\beta }=E_{\pi }[\beta |z]$，所以 $\tilde{\mathbf{\beta }}$ 是 $\beta$ 后验分布的均值。由此可见，贝叶斯点预测只需用后验均值代替未知的 $\beta$。下面通过一个例子说明在已知方差且具有收缩效应的多元回归中的这一结果。

例 5.2.1（多元回归模型的收缩估计量）。设 $y\sim$ N(Xβ, V)，并考虑共轭正态先验 $\beta \sim \mathrm{N}({\beta }_0,{\Sigma }_0)$。假设 V 已知，且 X 的边际分布不依赖于 $\beta$。则 $\beta$ 的后验分布为 $\beta |\bar{\mathcal{Y}},X\sim \mathrm{N}(\tilde{\beta },\Sigma )$，其中 $\Sigma =(X^{\prime }{V}^{-1}X+{\Sigma }_0^{-1})$ 且

$$\tilde{\beta }=(X^{\prime }{V}^{-1}X+{\Sigma }_0^{-1}{)}^{-1}{X}^{\prime }{V}^{-1}X\hat{\beta }+(X^{\prime }{V}^{-1}X+{\Sigma }_0^{-1}{)}^{-1}{\Sigma }_0^{-1}{\beta }_0.\text{\hspace{1em}(5.10)}$$

后验均值是一般的收缩估计量，其中权重依赖于先验和（广义）最小二乘估计量 $\hat{\mathbf{\beta }}=(X^{\prime }{V}^{-1}X{)}^{-1}{X}^{\prime }{V}^{-1}\mathbf{y}$，该估计量向先验均值 ${\beta }_0$ 进行收缩。

由这一表述可直接得到若干有趣的特殊情形。令 $V={\sigma }^{2}I$ 且 ${\Sigma }_0={\tau }^{2}I$，得到后验均值

$${\tilde{\beta }}_{\mathrm{Ridge}}=(X^{\prime }X+\lambda I{)}^{-1}(X^{\prime }X)\hat{\beta }+(X^{\prime }X+\lambda I{)}^{-1}\lambda {\beta }_0,\text{\hspace{1em}(5.11)}$$

其中 $\lambda ={\sigma }^2/{\tau }^2$。当按岭回归中的惯例取 ${\beta }_0=0$ 时，这就是上一章中讨论的标准岭估计量。信息量较少的先验对应于较大的 ${\tau }^2$，从而对应较小的 λ，这导致向先验的收缩程度较低。上一章的广义岭估计量可由 $V={\sigma }^{2}I$ 且取先验 ${\tau }^2{\Sigma }_0$（令 ${\beta }_0=0$）得到。岭估计量的这种贝叶斯解释可指导在经验应用中选取收缩参数 λ。

另一个常见的特殊情形是使用 Zellner 的 g-先验。该方法考虑取先验方差 ${\Sigma }_0=g{\sigma }^2(X^{\prime }X)\overline{{}^{-1}}$。当 $V={\sigma }^{2}I$ 时，将此先验代入式 (5.10) 可得

$${\tilde{\beta }}_g=\frac{1}{1+g}\left(g\hat{\beta }+{\beta }_0\right).\text{\hspace{1em}(5.12)}$$

例如，取 $g=1$ 时得到的估计量是最小二乘估计量与先验均值的平均。将 (5.12) 改写为 ${\hat{\beta }}_g=\hat{\beta }+(1+g{)}^{-1}({\beta }_0-\hat{\beta })$，容易看出 g 的值越大，先验越分散。

当正态模型的均值和方差 $\theta =(\beta ,V)$ 均未知时，通常将先验写为 $\pi (\theta )=\pi (\beta |V)\pi (V)$，其中 $\pi (\beta |V)$ 为上述例子中的高斯分布，$\pi (V)$ 为逆 Wishart 分布；参见 Zellner (1971)。