6.11.1 施瓦茨信息准则

6.11.1 施瓦茨信息准则

施瓦茨贝叶斯信息准则（BIC）根据模型的后验概率对模型进行排序。为了使该想法具有可操作性，我们需要模型先验 $\pi ({\mathbf{M}}_{\mathbf{k}})$，它们在所有模型上之和为 1：${\sum }_{M_k\in {\mathcal{M}}_K}\pi (M_k)=1$。我们还需要每个模型参数上的先验，$\pi ({\beta }_k)$。有了这些，每个模型 $M_k$ 的后验概率由下式给出

$$\pi (M_k,{\beta }_k|Z)=\frac{p({\beta }_k|Z,M_k)\pi ({\beta }_k)}{p_Z(Z)}\pi (M_k),\text{\hspace{1em}(6.45)}$$

其中 $p({\beta }_k|Z,M_k)$ 是模型 $k$ 的似然，$p_Z(Z)$ 是数据 $Z$ 的边际密度。为记号简便，我们用 $Z$ 表示用于构建预测模型的整个数据集，例如 $\{y_t,z_t{\}}_{t=1}^T$。为了得到给定数据的模型后验，必须对 ${\beta }_k$ 进行积分。为此，我们采用一个近似方法，允许正态先验作为任意分布的近似共轭先验。

在最大似然估计 ${\hat{\beta }}_k$ 附近对似然进行两项展开，我们有

$$\begin{array}{r}\ln p({\beta }_k|Z)\approx \ln p({\hat{\beta }}_k|Z)+\frac{1}{2}({\hat{\beta }}_k-{\beta }_k{)}^{\prime }(TI({\hat{\beta }}_k))({\hat{\beta }}_k-{\beta }_k),\end{array}\text{\hspace{1em}(6.46)}$$

其中 $TI(\widehat{{\beta }_k})$ 是在样本估计处求值的平均 Fisher 信息量，按样本量 $T$ 进行缩放，是一个 $O_P(1)$ 项。对 (6.46) 取指数并对 ${\beta }_k$ 积分，我们得到

$$\begin{array}{l}\int p({\beta }_k|Z)\pi ({\beta }_k)d{\beta }_k\\ \approx \int p({\hat{\beta }}_k|Z)\exp \left\{-\frac{1}{2}({\hat{\beta }}_k-{\beta }_k{)}^{\prime }(TI({\hat{\beta }}_k))({\hat{\beta }}_k-{\beta }_k)\right\}\pi ({\beta }_k)d{\beta }_k\\ =p({\hat{\beta }}_k|Z)\int \exp \left\{-\frac{1}{2}({\hat{\beta }}_k-{\beta }_k{)}^{\prime }(TI({\hat{\beta }}_k))({\hat{\beta }}_k-{\beta }_k)\right\}\pi ({\beta }_k)d{\beta }_k.\end{array}\text{\hspace{1em}(6.47)}$$

这一近似结果使得正态分布成为共轭分布。设系数上的先验为 $\pi ({\beta }_k)=1$ 并计算 (6.47) 中的积分，可得

$$\int P({\beta }_k|Z)\pi ({\beta }_k)d{\beta }_k\approx \hat{p}({\hat{\beta }}_k|Z)(2\pi {)}^{n_k/2}|TI({\hat{\beta }}_k){|}^{-1/2}.$$

将这一结果代入 (6.45) 中后验概率的表达式，我们有

$$\begin{array}{r}\int \pi (M_k,{\beta }_k)d{\beta }_k\approx \pi (M_k)\frac{\hat{P}({\hat{\beta }}_k|Z)(2\pi {)}^{n_k/2}|TI({\hat{\beta }}_k){|}^{-1/2}}{\hat{P}z(Z)}\\ =\pi (M_k)\frac{\hat{P}({\hat{\beta }}_k|Z)(2\pi /T{)}^{n_k/2}|I({\hat{\beta }}_k){|}^{-1/2}}{\hat{P}z(Z)}.\end{array}\text{\hspace{1em}(6.48)}$$

对 (6.48) 取对数，

$$\begin{array}{l}\ln \int \pi ({\mathcal{M}}_k,{\beta }_k)d{\beta }_k\\ \approx \ln \pi ({\mathcal{M}}_k)-\ln ({\gamma }_Z(Z))+\ln (\gamma ({\hat{\beta }}_k|Z))+\frac{n_k}{2}\ln (2\pi /T)-\frac{1}{2}\ln |\mathrm{I}({\hat{\beta }}_k)|.\end{array}\text{\hspace{1em}(6.49)}$$

$Z$ 的边际分布的对数对每个模型都相同，因此在模型排序中可以忽略。因此，最大化 (6.49) 等价于最小化

$$-2\ln \pi (M_k)-2\ln (p({\hat{\beta }}_k|Z))+n_k\ln (T/2\pi )+\ln |I[({\hat{\beta }}_k)|.\text{\hspace{1em}(6.50)}$$

随着样本量 $T$ 变大，(6.50) 中的第一项和最后一项是有界的，因此保持"较小"并可以被忽略，而第二项和第三项则变得更大。

这表明应选择最小化以下准则的模型：

$$-2\ln (p({\hat{\beta }}_k|Z))+n_k\ln (T),\text{\hspace{1em}(6.51)}$$

或者，在实践中更常见的是，最小化 (6.51) 除以样本量，

$$\begin{array}{r}\mathrm{BIC}(k)=-2T^{-1}\ln (p({\hat{\beta }}_k|Z))+n_k\ln (T)/T.\end{array}\text{\hspace{1em}(6.52)}$$

因此，在大样本中，选择最小化 (6.51) 或 (6.52) 表达式的模型等价于选择具有最高后验概率的模型。