3.3 贝叶斯方法

3.3 贝叶斯方法

贝叶斯方法从对所有可能模型上的风险进行平均的思想出发，对参数使用加权函数或先验 $\pi (\theta )$。这引出了贝叶斯风险，其定义为

$$r(\pi ,f)={\int }_{\theta }R(\theta ,f)\pi (\theta )d\theta ,\text{\hspace{1em}(3.24)}$$

其中 $R(\theta ,f)$ 由 (3.15) 给出。任何使贝叶斯风险最小化的预测 $f(z)$ 都是贝叶斯决策规则。注意，这种风险的概念与上一节的加权平均风险相同。

为了构建贝叶斯决策规则（即预测），我们需要对模型参数设定一个加权方案或先验 $\pi (\theta )$。该先验告诉我们哪些参数值是可能的，哪些是不可能的。与经典方法一样，我们也需要一个结果变量的模型 $p_Y(y|z)$。最后，我们还需要一个用于构建预测 $p_Z(z|\theta )$ 的数据模型。给定先验和数据模型，我们可以计算参数的后验密度

$$\pi (\theta |z)=p_Z(z|\theta )\pi (\theta )/m(z),\text{\hspace{1em}(3.25)}$$

其中 $m(z)={\int }_{\theta }{p}_Z(z|\theta )\pi (\theta )d\theta$ 是数据 $z$ 的边际似然。使用 (3.15) 和 (3.25) 中的后验密度，贝叶斯风险可以计算为

$$r(\pi ,f)={\int }_z\left({\int }_{\theta }\left\{{\int }_{y}L(f(z),y)p_Y(y|z,\theta )dy\right\}\pi (\theta |z)d\theta \right)m(z)dz.\text{\hspace{1em}(3.26)}$$

在给定 $Z=z$ 的条件下，我们可以选择对每个 $z$ 使条件风险最小化的预测规则

$${\int }_{\theta }\left\{{\int }_{y}L(f(z),y)p_Y(y|z,\theta )dy\right\}\pi (\theta |z)d\theta .$$

要理解为什么这能得到使贝叶斯风险最小化的预测，可以考虑在 $Z=z$ 条件下的期望损失。贝叶斯方法会对任意 $Z=z$ 选择 $f(z)$ 来最小化该损失。由于该规则最小化了条件期望损失，它也最小化了无条件期望损失，即最小化贝叶斯风险，因此它是一个贝叶斯决策规则。

例 3.3.1（均方误差损失下的贝叶斯风险，续）。由 (3.4) 我们得到贝叶斯风险

$$\begin{array}{rl}r(\pi ,f)& ={\int }_z\left({\int }_{\theta }\mathrm{Var}(Y|\theta ,z)\pi (\theta |z)d\theta \right)m(z)dz\\ & +{\int }_z\left({\int }_{\theta }[E(Y|\theta ,z)-f(z){]}^2\pi (\theta |z)d\theta \right)m(z)dz.\end{array}$$

第一项不依赖于预测。在给定 $z$ 的条件下最小化第二项，并忽略外层积分，得到一阶条件

$$\begin{array}{rl}{\int }_{\theta }E(Y|\theta ,z)\pi (\theta |z)d\theta & =f(z){\int }_{\theta }\pi (\theta |z)d\theta \\ & =f(z).\end{array}$$

最优预测是使用后验 $\pi (\theta |z)$ 作为权重的条件均值。当 $y_{t+1}$ 在给定 $x_t$ 下服从正态分布，具有未知均值 ${\theta }^{\prime }{x}_T$ 和已知方差 ${\sigma }^2$；且 $\theta$ 的后验分布为 $\mathrm{N}(\tilde{\theta },\mathcal{V})$ 时，最优预测简化为 $f(z)=\int {\theta }^{\prime }{x}_T\pi (\theta |z)d\theta ={\tilde{\theta }}^{\prime }{x}_T$，即我们用后验均值替换未知参数。

例 3.3.2（Linex 损失下的贝叶斯风险）。再次假设 $z=\{y_t{\}}_{t=1}^T$ 且 $y_t\sim \mathrm{iid}\mathrm{N}(\mu ,{\sigma }^2)$，其中 $\theta =[\mu ,{\sigma }^2]$。为简单起见，假设 ${\sigma }^2$ 是已知的。假设先验 $\pi (\mu )$ 使得 $\mu \sim \mathrm{N}({\mu }_0,{\tau }^2)$，其中 ${\tau }^2$ 是已知的。则后验分布为

$$\mu |z\sim \mathrm{N}\left(\frac{T{\tau }^2}{T{\tau }^2+{\sigma }^2}{\bar{y}}_T+\frac{{\sigma }^2}{T{\tau }^2+{\sigma }^2}{\mu }_0,\frac{{\tau }^2{\sigma }^2}{T{\tau }^2+{\sigma }^2}\right),\text{\hspace{1em}(3.27)}$$

其中 ${\bar{y}}_T=T^{-1}{\sum }_{t=1}^T{y}_t$。为记号方便，将该后验记为 $\mu |z\sim \mathrm{N}(\tilde{\mu },{\tilde{\sigma }}^2)$。为推导最优预测，我们需要对未知参数 $\mu$ 进行积分。注意，由 (3.9) 和 (3.16)，

$$\begin{array}{rl}f(z)& =a^{-1}\ln {\int }_{\theta }{M}_Y(a)\pi (\theta |z)d\theta \\ & =a^{-1}\ln {\int }_{\mu }\exp \left[a\mu +a^2{\sigma }^2/2\right]\frac{1}{\sqrt{2\pi }\tilde{\sigma }}\exp \left[-\frac{1}{2{\tilde{\sigma }}^2}(\mu -\tilde{\mu }{)}^2\right]d\mu .\end{array}$$

合并指数项并完成平方，可得最优规则

$$\begin{array}{rl}f(z)& =a^{-1}\ln \left(\exp \left[\frac{1}{2}{a}^2({\sigma }^2+{\tilde{\sigma }}^2)+a\tilde{\mu }\right]\right)\\ & =\tilde{\mu }+\frac{1}{2}a({\sigma }^2+{\tilde{\sigma }}^2).\end{array}$$

将 $\tilde{\mu }$ 和 ${\tilde{\sigma }}^2$ 的结果代入 (3.27) 得到规则

$$f(z)=\frac{T{\tau }^2}{T{\tau }^2+{\sigma }^2}\bar{z}+\frac{{\sigma }^2}{T{\tau }^2+{\sigma }^2}{\mu }_0+\frac{a{\sigma }^2}{2}\left(1+\frac{{\tau }^2}{T{\tau }^2+{\sigma }^2}\right).\text{\hspace{1em}(3.28)}$$

当 ${\tau }^2\to \infty$ 时，我们趋于一个平坦先验，并且

$$f(z)=\bar{z}+\frac{a{\sigma }^2}{2}\left(1+\frac{1}{T}\right).$$

注意经典插入法（在所有相关模型上最小化平均风险）与更正式的贝叶斯方法（选择预测规则直接最小化加权平均风险）之间的密切关系。在使用均方误差损失的示例中，模型的形式相同，因此差异仅源于 $\theta$ 的估计。在 Linex 示例中，乘以方差项的系数也存在差异。