5.3 计算方法

5.3 计算方法

在上述所考察的情形中,当我们同时拥有共轭先验以及依赖于参数分布已知函数的点预测时,获得贝叶斯点预测是直接了当的。在这些情形中,计算预测分布或密度预测同样简单。这类分布有诸多用途——我们可以计算模型参数后验分布的平均值,计算平均损失以了解预测的性质,并构建密度预测或对结果落入特定区间的可能性进行概率陈述。

然而,在更一般的情况下,需要使用数值方法来进行这些计算。数值方法可用于获得参数的后验分布$\pi (\theta |z)$、预测密度$P^P(y|z)$的估计,以及这些分布的汇总统计量。例如,模型参数的后验密度可用于计算平均结果,并在MSE损失下构建一步向前预测。或者,$\pi (\theta |z)$可用于生成预测密度,其均值可用于多步预测。

贝叶斯估计中的标准问题是计算参数的后验密度$\pi (\theta |z)$。这通常涉及很多内容,针对需要评估的特定模型有不同的方法。由于许多教材都专门讨论这个主题,我们仅对方法进行概述,以帮助读者查阅相关文献。后续章节将更清楚地说明针对一系列预测问题所使用的具体方法。

基本思路是设计一种计算方法,用于从后验分布$\pi (\theta |z)$中构造抽取,即使在无法将其描述为先验和数据的参数的已知分布的情况下也是如此。通常不是直接处理后验分布,而是考察$p(z|\theta )\pi (\theta )$,不通过$z$的边际分布进行归一化。通过数值近似可以轻松实现该密度的归一化。在任何特定应用中,$p(z|\theta )$和$\pi (\theta )$都是已知的,因为预测者必须为观测数据$z$选择一个似然函数,并为参数$\theta$选择一个先验分布。

下一步是从分布$p(z|\theta )\pi (\theta )$中抽样,给定数据。这涉及从先验乘以似然函数中抽样,这两者都是完全已知的,因为$z$已被观测到,而$\theta$是先验的一个抽取。然后可以使用这些抽取进行归一化。为了提高效率,通常采取措施缩小后验分布的支撑集,以便在正确的范围内进行抽样。遗憾的是,当$\theta$是高维的且包含不止几个参数时,这种方法效率不高且不便于使用。针对这种常见情形,使用的是从收敛于后验分布的分布中抽取的数值方法,而不是直接从后验分布中抽取$\theta$。蒙特卡洛

马尔可夫链(MCMC)方法通常涉及吉布斯采样器或Metropolis算法等精化方法,以便从底层分布中抽取。

吉布斯采样器适用于无法找到$\pi (\theta |z)$的封闭形式,但可以将$\theta$分成子集的情形,例如将$\theta =({\theta }_1,{\theta }_2)$进行划分,使得$\pi ({\theta }_1|z,{\theta }_2)$和$\pi ({\theta }_2|z,{\theta }_1)$存在封闭形式解。对于${\theta }_1$的给定初始值,设为${\theta }_1^0$,我们可以建立一个迭代过程,允许我们在给定${\theta }_1={\theta }_1^0$的情况下抽取${\theta }_2$的一个值(记为${\theta }_2^1$)。然后我们在给定${\theta }_2={\theta }_2^1$的情况下获得${\theta }_1$的一个抽取(记为${\theta }_1^1$)。通过迭代进行,我们得到$\theta =({\theta }_1,{\theta }_2)$的一系列数值抽取。在许多情形中可以证明,当初始条件的影响消失后,这些抽取就是来自所需联合密度$\pi (\theta |z)$的抽取。因此,在丢弃一组早期抽取后,我们可以保存后续的抽取,并用它们来数值地表征参数的后验分布。

例5.3.1(最小二乘回归与吉布斯采样器)。 假设$y_{t+1}$在给定$x_t$和$\theta$的条件下独立服从正态分布,其均值为${\beta }^{\prime }{x}_t$,方差为${\upsilon }^{-1}{I}_k$,其中$k=\dim (x_t)$,$\theta =(\beta ,\upsilon )$都是未知的。假设我们设定条件均值$\beta$的先验为$\beta \sim N({\beta }_0,{\tau }^{2}I)$,且与$y_{t+1}$独立;设定方差倒数的先验,使得$\upsilon$是除以常数$s_0$的${\chi }_{\omega }^2$分布,因此方差先验的均值变为$s_0/\omega$。超参数为${\theta }_0=({\beta }_0,{\tau }^2,\omega ,s_0)$。对于这个问题,$\pi (\theta |z)$没有简单的解析或封闭形式解,需要使用数值方法。可以证明(Geweke,2005,例2.1.2):

$$\beta |z,\upsilon ,{\theta }_0\sim N(\tilde{\beta }(\upsilon ),W(\upsilon )),$$

$$s^2(\beta )\upsilon \sim {\chi }_{\tilde{\omega }}^2,$$

其中 $\begin{array}{r}W(v)=({\tau }^{-2}{I}_k+v{\sum }_{t=0}^{T-1}{x}_t{x}_t^{\prime }),\tilde{\beta }(v)=W^{-1}\left({\tau }^{-2}{\beta }_0+v{\sum }_{t=0}^{T-1}{x}_t{y}_{t+1}\right)\end{array}$，$\tilde{\omega }=\omega +T$，以及 $\begin{array}{r}{s}^2(\beta )=s_0^2+{\sum }_{t=0}^{T-1}(y_{t+1}-\beta x_t{)}^2\end{array}$。由于从正态分布和 ${\chi }^2$ 分布中抽样是直接的，因此我们可以从这些条件分布中轻松地计算出一系列取值。

利用从 $\pi (\theta |z)$ 生成的 $\theta$ 的抽样值，无论是直接构建当预测是 $\pi (\theta |z)$ 的已知函数时的预测，还是构建预测的抽样值 $\begin{array}{r}{p}^P(y|z,\theta )\end{array}$，都是直接了当的。在第一种情况下，预测 $f(z)$ 是分布 $p(y|z,\theta )$ 的特征以及 $\theta$ 的分布的已知函数。例如，线性回归情形仅需要给定 $z$ 的 $\theta$ 的后验均值，这些均值很容易计算。这些后验均值可以用作构建线性预测模型时的"系数估计"。

预测密度 ${\mathcal{P}}_y^P(y|z)$ 可以从 $\pi \left(\theta |z\right)$ 的抽样值和已知模型 ${\varphi }_y(y|z,\theta )$ 构建，在保持 $z$ 不变的情况下，对 $\theta$ 的每次抽样都抽取一个预测值。如第 3 章所述，该方法可用于任何损失函数，估计预测分布的不同特征对应于不同的损失函数。

假设我们关注的是实际预测而不是预测密度，但不存在作为该密度函数的预测的封闭形式解。在这种情况下，我们需要计算 $f^{\ast }(z)=\arg \min r(\pi ,f(z))$。在给定 $z$ 的条件下，这需要找到使 $\int L(f(z),y)p_Y^p(y|z)dy$ 最小化的规则。利用从 $p_Y^P(y|z)$ 得到的抽样值，对于任何预测规则 $f(z)$，我们都可以计算平均损失。

其原因在于，对于任何此类预测规则和 $y$ 的任何抽样值，我们可以计算 $L(f(z),y)$ 的一个值，而这些抽样值的平均值即为期望损失。因此，我们可以直接计算与任何预测规则相关联的期望损失。然后，在一组此类规则中，我们可以选择期望损失最低的规则作为最佳规则。

Zellner (1971) 对回归模型的贝叶斯分析进行了早期阐述，包括了许多常用于预测的模型。Koop (2003)、Geweke (2005) 和 Karlsson (2013) 提供了更近期关于算法和数值方法的论述和讨论。