5.1 贝叶斯风险

5.1 贝叶斯风险

第3章将贝叶斯风险定义为风险以参数θ所有可能取值的先验分布π(θ)为权重的加权平均：

$$r(\pi ,f)={\int }_{\theta }R(\theta ,f)\pi (\theta )d\theta .\text{\hspace{1em}(5.1)}$$

任何使贝叶斯风险最小化的预测 $f(z)$ 都是贝叶斯决策规则。

使用第3章引入的风险符号，我们有

$$R(\theta ,f)={\int }_z{\int }_{y}L(f(z),y{)}_{PY}(y|z,\theta {)}_{PZ}(z|\theta )dydz,\text{\hspace{1em}(5.2)}$$

因此贝叶斯风险可以写为（见(3.26)）

$$r(\pi ,f)={\int }_z\left({\int }_{\theta }\left\{{\int }_{y}L(f(z),y{)}_{PY}(y|z,\theta )dy\right\}\pi (\theta |z)d\theta \right)m(z)dz.\text{\hspace{1em}(5.3)}$$

这里我们使用贝叶斯公式 $\pi (\theta |z)=$ $pz(z|\theta )\pi (\theta )/m(z)$ 构建了参数的后验分布，其中 $\begin{array}{r}m(z)=\int pz(z|\theta )\pi (\theta )d\theta \end{array}$ 是边际似然。这可以视为一个先验预测分布，即不依赖于观测数据z的预测分布。

在条件 $Z=z$ 下，对预测方法 $f(z)$ 最小化(5.3)等价于最小化

$$\begin{array}{rl}{\int }_{\theta }\{{\int }_{y}L(f(z),y)\{p_Y(y|z,\theta )dy\}\pi (\theta |z)d\theta & \\ & ={\int }_{y}L(f(z),y)({\int }_{\theta }{p}_Y(y|z,\theta )\pi (\theta |z)d\theta )dy\\ & ={\int }_{y}L(f(z),y)p_Y^P(y|z)dy,\end{array}$$

其中最小化是关于 $f(z)$ 进行的，并且我们使用了损失函数不依赖于θ这一事实。这里 $\begin{array}{r}{p}_Y^P(y|z)={\int }_{\theta }{p}_Y(y|z,\theta )\pi (\theta |z)d\theta \end{array}$ 是Y的（后验）预测密度。最优贝叶斯点预测是相对于该后验预测密度使期望损失最小化的预测。

获得参数的后验密度 $\pi (\theta |z)$ 涉及模型参数的常规贝叶斯后验密度估计问题。因此，贝叶斯预测可以利用一系列成熟的方法。许多文献涵盖了这个问题的一般处理方法，并解释如何构建后验密度；例如参见Geweke (2005)。下一个例子说明了在简单情况下如何推导贝叶斯预测密度。

例5.1.1（计算独立同分布高斯序列的预测密度）。设 $y_i\sim$ 独立 $\mathrm{N}(\mu ,{\sigma }^2)$，其中 ${\sigma }^2$ 已知，并假设 $\mu$ 的先验分布为 $\mathrm{N}({\mu }_0,{\tau }^2)$。

使用观测值 $z=(y_1,\dots ,y_T)$ 构建预测，$\mu$ 的后验密度为

$$\mu |(y_1,\dots ,y_T)\sim \mathbf{N}\left(\frac{T{\tau }^2}{T{\tau }^2+{\sigma }^2}{\bar{y}}_T+\frac{{\sigma }^2}{T{\tau }^2+{\sigma }^2}{\mu }_0,\frac{{\tau }^2{\sigma }^2}{T{\tau }^2+{\sigma }^2}\right)\equiv \mathbf{N}(\tilde{\mu },{\tilde{\sigma }}^2),$$

其中 ${\bar{y}}_T=T^{-1}{\sum }_{t=1}^T{y}_t$ 是样本均值。给定 $z$ 时 $y_{T+1}$ 的预测密度则由下式得到

$$p_{y_{T+1}}^p(y_{T+1}|z)=\int f(y_{T+1}|\mu ,{\sigma }^2)\pi (\mu |z,{\mu }_0,{\tau }^2,{\sigma }^2)d\mu ,$$

其结果为

$$y_{T+1}|z\sim \mathrm{N}(\tilde{\mu },{\sigma }^2+{\tilde{\sigma }}^2),\text{\hspace{1em}(5.4)}$$

其中方差 ${\sigma }^2+{\tilde{\sigma }}^2={\sigma }^2(1+{\tau }^2/(T{\tau }^2+{\sigma }^2))$。该分布就是贝叶斯密度预测 $P_y^P(y|z)$。

与经典情形一样，对于某些问题，预测密度可能被视为比点预测更有用的预测总结。在许多实际预测情境中，这正是大多数贝叶斯主义者所认为的预测问题的目标，因为其解具有一般性。

一旦我们获得了预测密度 $p_Y^P(y|z)$，就可以使用与经典两步法第一步等价的方法构建最佳预测，但用预测密度代替未知的条件密度。例如，在MSE损失下，最佳估计量是给定z时y的条件均值。贝叶斯对应的量是预测密度 $p_Y^P(y|z)$ 的均值。类似地，对于lin-lin损失函数，我们可以报告预测密度的相关分位数。

例5.1.2（MSE损失下独立同分布高斯序列均值的预测）。在MSE损失下，使用例5.1.1的设定，预测变为

$$f(z)=E\left[y_{T+1}|z\right]=\tilde{\mu }=\frac{T{\tau }^2}{T{\tau }^2+{\sigma }^2}{\bar{y}}_T+\frac{{\sigma }^2}{T{\tau }^2+{\sigma }^2}{\mu }_0.$$

这是一个收缩估计量，它将样本均值 ${\bar{y}}_T$ 向先验均值 ${\mu }_0$ 收缩，权重依赖于先验信息 $({\tau }^2)$ 和样本信息 $({\sigma }^2,T)$。在大样本中，样本均值的权重趋近于1。对于更分散的先验（即 ${\tau }^2$ 的较大值）也会出现类似的结果。

例5.1.3（Linex损失下独立同分布高斯序列均值的预测）。在Linex损失函数下，给定条件密度的最优预测是均值加上方差乘以 $(a/2)$。使用(5.4)中的预测分布，这一预测为

$$f(z)=\tilde{\mu }+\frac{a}{2}\left({\sigma }^2+{\tilde{\sigma }}^2\right),$$

这就是贝叶斯点预测。

例 5.1.2 和例 5.1.3 都使用相同的预测密度，在不同的损失函数下构建点预测。因此，只要提供预测密度，对于这些情形中的预测者来说就足够了。

最后，在指定用于构建预测密度的似然函数时，我们需要为 $y$ 和 $z$ 同时建立一个模型，其选择会影响结果。当我们对数据和真实联合密度使用相同的 $\theta$ 时，也隐含地假设了模型是已知的。将贝叶斯方法推广以允许未知模型，通常涉及对不同模型进行平均，权重反映特定模型为"真"的后验似然。我们将在第 14 章中考察这些方法。

除了提供预测密度或贝叶斯点预测外，我们还可以通过风险函数来考察期望损失。这些对象的表达式可以通过将最优预测 $f(z)$ 代入贝叶斯风险（方程 (5.1) 和 (5.3)）或依赖于 $\theta$ 的风险函数 (5.2) 中得到。首先，考虑风险函数 $R(\theta ,f(z))$。记最优预测为 $f^{\ast }(z)$，则风险变为

$$R^{\ast }(\theta ,f)={\int }_z{\int }_{y}L(f^{\ast }(z),y)p_Y(y|z,\theta )p_Z(z|\theta )dydz.\text{\hspace{1em}(5.5)}$$

给定函数 $f^{\ast }(z)$，这简化为 $\theta$ 的函数——正如经典情形一样。对于给定的预测 $f^{\ast }(z)$，可以考察不同 $\theta$ 值下的风险函数，以考虑相关的风险。

例 5.1.4（续：在均方误差损失下预测独立同分布高斯序列的均值）。对于本例，$f^{\ast }(z)=\tilde{\mu }$，因此我们需要计算

$$R^{\ast }(\mu ,f^{\ast })={\int }_z{\int }_y(y-\tilde{\mu }{)}^2{p}_Y(y|z,\theta )p_Z(z|\theta )dydz.$$

我们知道条件密度为 $y_{T+1}|z,\theta \sim \mathrm{N}(\mu ,{\sigma }^2)$。对其积分，我们得到 $\begin{array}{r}{\int }_y(y-\tilde{\mu }{)}^2{p}_Y(y|z,\theta )dy={\sigma }^2+(\mu -\tilde{\mu }{)}^2\end{array}$，即方差加上偏差的平方。这里 $\tilde{\mu }$ 是 $z$ 的函数，因为它依赖于 ${\bar{y}}_T$。对 $z$ 积分，我们有

$$\begin{array}{c}{R}^{\ast }(\mu ,f)={\int }_z\left({\sigma }^2+(\mu -\tilde{\mu }{)}^2\right)p_Z(z|\theta )dz\\ ={\sigma }^2(1+T^{-1}{a}^2)+(\mu -{\mu }_0{)}^2(1-a{)}^2,\end{array}$$

其中 $a=T{\tau }^2/(T{\tau }^2+{\sigma }^2)$。这个风险函数展示了使用信息先验与使用样本均值之间的权衡。通过令 ${\tau }^2\to \infty$ 得到样本均值，此时 $a\to 1$，对应于平坦先验。由上式，我们有 $R(\mu ,{\bar{y}}_T)={\sigma }^2(1+T^{-1})$。由于 $a<1$，先验降低了方差分量，但增加了一个平方偏差分量 $(\mu -{\mu }_0{)}^2(1-a{)}^2$。当先验均值 ${\mu }_0$ 足够接近真值 $\mu$ 时，这将降低风险。然而，对于更远的值，平方偏差项可能大于使用最小二乘预测所带来的估计风险。

即使在最简单的情况下，这个例子再次表明不存在对所有模型都是最优的单一方法。先验的不同选择导致不同的估计量和不同的风险函数，但没有一种方法能一致地优于其他方法。

为了将作为 $\theta$ 函数的风险简化为一个数值，从而得到一个允许我们对不同方法进行排序的度量，我们需要对 $\theta$ 所有可能取值进行加权。这要求关于 $\theta$ 的一个分布。使用先验分布 $\pi (\theta )$，我们有

$$r^{\ast }(\pi ,f^{\ast })={\int }_{\theta }{R}^{\ast }(\theta ,f^{\ast })\pi (\theta )d\theta .$$

由于 $f^{\ast }(z)$ 是选择用来最小化这个加权平均风险的，显然贝叶斯方法既最小化了这种加权的风险，又提供了一种推导最佳预测规则的构造性方法。事实上，在对参数的任意加权下，为与该加权相同的先验构建的贝叶斯规则提供了最优的预测方法。如果经典方法等价于某个贝叶斯规则，它们也可以是最优的。

例 5.1.5（续：在均方误差损失下预测独立同分布高斯序列的均值）。使用先验密度 $\pi (\mu )\sim \mathrm{N}({\mu }_0,{\tau }^2)$，我们有

$$\begin{array}{c}{r}^{\ast }(\pi ,f^{\ast })={\int }_{\mu }\left({\sigma }^2(1+T^{-1}{a}^2)+(\mu -{\mu }_0{)}^2(1-a{)}^2\right)\pi (\mu )d\mu \\ \\ ={\sigma }^2(1+T^{-1}{a}^2)+(1-a{)}^2{\tau }^2.\end{array}$$

对于 ${\tau }^2$ 的任何取值，$r^{\ast }(\pi ,f^{\ast })\le r(\pi ,\bar{y})={\sigma }^2(1+T^{-1})$。等号在 ${\tau }^2\to \infty$ 时成立