正在学习

14.6 贝叶斯模型平均

贝叶斯模型平均（BMA）通常考察如下形式的组合：

$p^{c} (y) = i = 1 \sum m ω_{i} : p (y ∣ M_{i}), (14.29)$

其中 BMA 权重 $ω_{i}$ 是各个模型 $M_{i}$ 的后验。组合预测是各模型预测的加权平均，其权重与各模型的后验成正比。诚如其名，BMA 是一种模型平均程序，而非本质上是一种预测密度组合程序。这意味着它假设可以获得构造各密度 $p_{i} = p (y ∣ M_{i})$ 所依据的数据，以及如何使用这些数据得到预测密度的相关知识。BMA 方法的应用比此处所述更为广泛—— $y$ 不一定如本书中那样是研究对象，我们可能感兴趣的某个参数会代替下面的推导中的 $y$ 。更广泛地说，BMA 的主要动机是作为一种处理模型不确定性的方法。当然，这也解释了预测者对其感兴趣的原因。

将 m 个模型记为 $M_{1}, \dots, M_{m}$ 。设 $p (M_{i})$ 为模型 i 为真实模型的先验概率，而 Z 为数据。则模型 i 的后验概率可写为

$p (M_{i} ∣ Z) = \frac{p ( Z ∣ M _{i} ) p ( M _{i} )}{\sum _{j = 1}^{m} p ( Z ∣ M _{j} ) p ( M _{j} )} . (14.30)$

则组合的模型平均为

$p^{c} (y) = i = 1 \sum m p (y ∣ M_{i}) p (M_{i} ∣ Z) . (14.31)$

式 (14.30) 中模型 i 的边际似然为

$P (Z ∣ M_{i}) = \int P (Z ∣ θ_{i}, M_{i}) P (θ_{i} ∣ M_{i}) d θ_{i}, (14.32)$

其中 $p (θ_{i} ∣ M_{i})$ 是模型 $i$ 参数的先验密度， $ℏ (Z ∣ θ_{i}, M)$ 是给定参数和模型 i 时数据的似然。

构建 BMA 估计的困难在于获得构造上述加权平均所需对象的复杂性；详细讨论见 Hoeting 等 (1999)。首先必须构建组合中所考察的模型列表 $M_{1}, \dots, M_{m}$ 。在选定候选模型集之后，实施 BMA 方法时必须面对三个问题。首先，式 (14.30) 中 $p (M_{i} ∣ Z)$ 的计算需要计算式 (14.32) 中的 $p (Z ∣ M_{i})$ 。虽然这是一个典型的贝叶斯估计问题，对于不同模型有许多可用的算法，但它耗时较长，且必须对每个模型单独进行。其次，如果 m 较大，除非边际似然有闭式解，否则对这些对象的重复计算将变得困难或不可行。最后，研究者必须为所有模型提供先验概率 $p (M_{1}), \dots, p (M_{m})$ ，以及（假设模型已知）模型参数的先验 $P (θ_{1} ∣ M_{1}), \dots, P (θ_{m} ∣ M_{m})$ 。当 m 较大时，由于许多模型与其他模型相关，这些选择并不显然。

对于具有正态先验的线性回归模型，式 (14.32) 有闭式解。因此，将 BMA 方法应用于此类预测模型是直接的。这解释了这种方法受欢迎的原因。例如，考虑如下预测模型集

$y = X_{i}^{'} β_{i} + W γ + u_{i}, (14.33)$

其中 W 中的回归元总是被包含， $X_{i}$ 表示模型 $i$ 中包含的 $k_{i}$ 个额外回归元，通过使用各 X 变量对 W 回归的残差，使其与 $W$ 正交。假设预测变量是严格外生的， $u_{i} \sim N (0, σ_{i}^{2})$ ，对 $(γ, σ^{2})$ 设定无信息先验，并对 $β_{i}$ 设定 Zellner (1986b) g-先验，则给定 (X, W) 时 $y_{1}, \dots, y_{t}$ 的后验具有闭式解——在上述记号中，这就是每个模型 $M_{i}$ 的 $p (Z ∣ M_{i})$ 。按照 Magnus、Powell 和 Prüfer (2010) 的方法，除给每个模型赋予相等的先验概率外，所得权重为

$p (M_{i} ∣ Z) = \frac{( \frac{1}{1 + g _{i}} ) ^{k_{i} /2} ( \frac{1}{1 + g _{i}} SSR _{- i}^{R} + \frac{g _{i}}{1 + g _{i}} SSR _{i}^{U} ) ^{- d /2}}{\sum _{i = 1}^{m} ( \frac{1}{1 + g _{i}} ) ^{k_{i} /2} ( \frac{1}{1 + g _{i}} SSR _{- i}^{R} + \frac{g _{i}}{1 + g _{i}} SSR _{i}^{U} ) ^{- d /2}}, (14.34)$

其中，对每个模型 $M_{i}$ ， $SSR_{i}^{U}$ 是回归 (14.33) 的残差平方和， $SSR_{- i}^{R}$ 是同一回归（省略 $X_{i}$ 变量）的残差平方和， $d$ 是省略 $X_{i}$ 变量的回归的自由度。要实施 (14.34)，我们需要为 $g_{i}$ 指定一个值。Fernandez、Ley 和 Steel (2001) 以及 Magnus、Powell 和 Prüfer (2010) 建议设定 $g_{i} = max (T, k_{i}^{2})^{- 1}$

Raftery、Madigan 和 Hoeting（1997）提出了一组不同的先验，这些先验不会产生如此封闭形式的解，而是提供一种 $M C^{3}$ 算法来估计 BMA 权重。Koop 和 Potter（2007）考虑了一组先验，其与 g-先验方法的区别在于对方差使用了信息性先验。他们还使用主成分方法首先对 $X_{i}$ 变量进行正交化处理，因为他们的算法中需要正交成分。

在（14.32）式中各模型的边际似然难以计算的情况下，可以使用一种简单的近似方法。回顾第 6 章，贝叶斯信息准则（BIC）由下式给出：

$BIC_{i} = - 2 LL_{i} / T + k_{i} ln (T) / T,$

其中 $LL_{i}$ 是模型 $M_{i}$ 的对数似然， $k_{i}$ 是该模型估计的参数数量， $T$ 是样本量。BIC 提供了边际似然的渐近近似，即 $ln (P (Z ∣ M_{i})) \approx BIC_{i}$ 。因此，BMA 权重可以近似为：

$ω_{i} = P (M_{i} ∣ Z) \approx \frac{exp ( - 0.5 BIC _{i} )}{\sum _{i = 1}^{m} exp ( - 0.5 BIC _{i} )} . (14.35)$

减少计算工作量的一种方法，特别是当 $m$ 较大时，是仅考虑模型平均中的一组子集模型。如果采用这种方法，必须采用一种选择包含哪些模型和忽略哪些模型的过程。一种方法是如果某些模型看起来不是很好，则将其从考虑中删除。Raftery、Madigan 和 Hoeting（1997）建议删除后验概率 $p (M_{i} ∣ Z)$ 远小于最佳模型后验概率的模型。例如，一个相对较低后验概率的大型模型将被排除在考虑范围之外。最终的模型平均不是对所有 $m$ 个原始模型的加权和，而是仅对它们的一个子集进行加权平均。包含子集模型的另一种方法是使用模拟方法来近似（14.31）式中的平均值。该方法使用蒙特卡洛方法，只需要实际评估一部分模型。

最后，考虑如何设置先验概率。任何能够指导这种选择的信息当然都应该被使用，但通常没有特别的理由在事前偏好某些模型而不是其他模型。线性回归模型需要设定斜率参数的先验。由于这些参数出现在许多子模型中，内部一致性要求相同的系数在不同模型中具有相同的先验。通常选择共轭先验。对于正态回归模型，常见的是假设 $p (β ∣ σ^{2}) \sim N (β_{0}, Ω)$ 适用于完整的参数集；对于每个模型，其先验是这些参数的一个子集。例如，Zellner g-先验满足这种内部一致性约束。

关于模型先验，一种明显的方法是将先验 $p (M_{i})$ 设定为 $1/ m$ ，给予每个模型相同的权重。这样做的缺点是，所考虑的许多模型可能彼此非常相似，因此作为一个整体最终获得的权重远高于其他不同且可能有用的、不属于类似聚类的模型。这表明要密切关注组合中考虑的模型列表 $M_{1}, \dots, M_{m}$ 的设计，尽管据我们所知，目前没有直接讨论这一重要问题的论文。

练习题

哪个公式表示贝叶斯模型平均（BMA）组合？

p^{c} (y) = \prod_{i = 1}^{m} ω_{i} p (y ∣ M_{i})

p^{c} (y) = \sum_{i = 1}^{m} ω_{i} p (y ∣ M_{i})

p^{c} (y) = \frac{1}{m} \sum_{i = 1}^{m} p (y ∣ M_{i})

p^{c} (y) = max_{i} p (y ∣ M_{i})

BMA主要旨在解决什么问题？

A. 数据标准化

B. 模型不确定性

C. 参数估计

D. 计算效率

以下哪些是贝叶斯模型平均（BMA）的假设？（选择所有适用的选项）

A. 每个密度

p_{i} = p (y ∣ M_{i})

背后的数据可用性

B. 知道如何利用数据来获得预测密度

C. 所有模型必须具有相同数量的参数

D. 模型必须相互嵌套

在贝叶斯模型平均（BMA）中，模型 $i$ 的后验概率由 $p (M_{i} ∣ Z) = \frac{p ( Z ∣ M _{i} ) p ( M _{i} )}{\sum _{j = 1}^{m} p ( Z ∣ M _{j} ) p ( M _{j} )}$ 给出。

BMA方法仅在感兴趣的对象是 $y$ 时适用。

在贝叶斯模型平均（BMA）中，组合模型平均值由 $p^{c} (y) = \sum_{i = 1}^{m} p (y ∣ M_{i}) p (M_{i} ∣ Z)$ 给出。项 $p (M_{i} ∣ Z)$ 表示___。

在贝叶斯模型平均（BMA）中，模型 $i$ 的边际似然由 $P (Z ∣ M_{i}) = \int P (Z ∣ θ_{i}, M_{i}) P (θ_{i} ∣ M_{i}) d θ_{i}$ 给出。项 $P (θ_{i} ∣ M_{i})$ 表示___。

解释为什么构建贝叶斯模型平均（BMA）估计可能很困难。

是什么使得贝叶斯模型平均（BMA）在具有正态先验的线性回归模型中简单直接？

以下哪些是构建贝叶斯模型平均（BMA）估计的难点？（选择所有适用项）

A. 计算每个模型的

p (Z ∣ M_{i})

B. 为所有模型指定先验概率

C. 确保所有模型具有相同的似然函数

D. 大

m

时的重复计算

以下关于贝叶斯模型平均（BMA）中的后验权重公式，哪些说法是正确的？（选择所有适用的选项）

A. 它涉及回归中的残差平方和

B. 它需要为

g_{i}

指定一个值

C. 它假设所有模型的先验概率相等

D. 它仅适用于线性回归模型

在后验权重公式中， $g_{i}$ 的建议值是多少？

g_{i} = 1

g_{i} = max (T, k_{i}^{2})^{- 1}

g_{i} = \frac{1}{m}

g_{i} = \sum_{i = 1}^{m} p (M_{i} ∣ Z)

以下哪些内容在BMA中被结合？（选择所有适用的选项）

A. 点预测

B. 密度预测

C. 先验概率

D. 后验概率

以下关于贝叶斯模型平均（BMA）中边缘似然公式的陈述哪些是正确的？（选择所有适用的选项）

A. 它涉及对参数空间进行积分

B. 它需要了解参数的先验密度

C. 它与数据的似然相同

D. 它用于计算后验概率

以下哪项正确描述了贝叶斯模型平均（BMA）与密度预测的线性组合之间的关系？

A. BMA是线性组合的一种特殊情况，其权重为边际似然的后验概率，而线性组合使用任意权重。

B. BMA和线性组合是名称不同但方法相同的技术。

C. 线性组合需要模型的先验概率，而BMA不需要。

D. BMA仅适用于点预测，而线性组合适用于密度预测。

以下哪些是确保组合密度预测在数学上合理的有效条件？选择所有适用的选项。

A. 权重

ω_{i}

之和必须为1。

B. 权重

ω_{i}

必须非负。

C. 个体密度

p_{i} (y)

必须相同。

D. 组合密度在其支撑集上的积分必须为1。

E. 权重

ω_{i}

必须从贝叶斯后验概率推导得出。

在贝叶斯模型平均中，边际似然 $P (Z ∣ M_{i})$ 是通过对给定参数和模型的数据似然在模型参数的先验密度上进行积分来计算的。正确还是错误？

要在贝叶斯模型平均（BMA）中实现后验权重公式，必须指定 $g_{i}$ 的值。一个常用的建议值为 $g_{i} = max (T, k_{i}^{2})^{- 1}$ ，其中 $T$ 是样本量， $k_{i}$ 是模型 $M_{i}$ 中额外回归元的数量。该值通过随_和_缩放来帮助平衡模型复杂度和拟合优度。

登录后解锁笔记、知识点解析、AI 问答

立即登录

14.6 贝叶斯模型平均