6.3 信息准则

6.3 信息准则

信息准则（IC）通过在模型拟合度与模型复杂度的惩罚项之间进行权衡来选择模型，模型复杂度以模型需要估计的自由参数个数来衡量。文献中提出了多种信息准则，其中最常用的两种是 Schwarz（1978）提出的贝叶斯信息准则（Schwarz BIC、SBIC 或 BIC）和 Akaike（1974）提出的赤池信息准则（AIC）。较少使用的方法包括 Mallows（1973）提出的 Mallows $C_p$ 准则以及 Hannan 和 Quinn（1979）提出的 Hannan–Quinn 准则。此外，关于这些方法的变体以及其他形式的信息准则还有大量文献。之所以出现如此众多的准则，是因为不同的信息准则具有不同的性质，我们将在下文中加以讨论。BIC、AIC 和 Mallows $C_p$ 都试图针对参数估计的影响对最小化准则进行调整，因为参数估计往往会使得参数较多的模型在样本内表现得优于其实际表现。参数估计对样本内拟合度的改善程度取决于真实模型，因此不同信息准则之间的差异归根结底在于如何在实践中克服我们对"真实"预测模型的根本未知。

信息准则采用不同的策略在拟合度与简约性之间进行权衡。贝叶斯信息准则选择给定数据下后验概率最高的模型。为了从候选模型集中选择一个模型，根据各模型的后验概率对其进行排序，并选择后验概率最高的模型。赤池信息准则旨在最小化候选模型的密度与真实（未知）模型密度之间的（Kullback–Leibler）距离。

考虑一组 K 个参数化模型 ${\mathcal{M}}_k$，其中每个模型 $M_k\in {\mathcal{M}}_K$，$k=1,\dots ,K$，需要估计 $n_k$ 个参数 ${\beta }_k$。BIC 和 AIC 通过最小化如下形式的表达式来选择模型（由 k 索引）

$$\mathrm{IC}(k)=-2T^{-1}\ln p({\hat{\beta }}_k|z)+h(n_k)g(T),\text{\hspace{1em}(6.11)}$$

在所有模型中取值，$k=1,\dots ,K$，其中 $p({\hat{\beta }}_k|z)$ 是在参数估计值处评估的数据似然，$h(n_k)$ 是关于模型规模 $n_k$ 的递增函数，$g(T)$ 是关于样本量 T 的递减函数。第二项 $h(n_k)g(T)$ 对额外参数（较大的 $n_k$）的估计施加惩罚，尤其在样本量较小时惩罚更重。

不同信息准则的区别在于其对 $h(n_k)g(T)$ 的选择。对于 BIC 和 AIC，惩罚项的形式分别为

$$\mathrm{BIC}:\frac{n_k\ln (T)}{T},\text{\hspace{1em}(6.12)}$$

$$\mathrm{AIC}:\frac{2n_k}{T}.\text{\hspace{1em}(6.13)}$$

因此，两个准则中 $h(n_k)=n_k$，而 BIC 中 $g(T)=\ln (T)/T$，AIC 中 $g(T)=2/T$。${}^6$

下面的例子说明了如何将信息准则应用于单变量线性预测模型。

例 6.3.1（线性回归的 AIC 和 BIC）。考虑一组线性预测模型，这些模型在所选择的自变量 $x_{kt}$ 上有所不同。

$$y_{t+1}={\beta }_k^{\prime }{x}_{kt}+{\epsilon }_{kt+1},{\epsilon }_{kt+1}\sim \mathrm{N}(0,{\sigma }_k^2).$$

设 ${\hat{\sigma }}_k^2$ 为包含 $n_k$ 个回归变量的回归中得到的方差的最大似然估计量。使用第 k 个模型的极大似然估计，我们得到（对于 $Z_T=(y_{t+1},x_{kt}),t=0,\dots ,T-1$）

$$\begin{array}{rl}\ln p_Z(Z_T)& =-\frac{T}{2}\ln (2\pi {\hat{\sigma }}_k^2)-\frac{1}{2{\hat{\sigma }}_k^2}\sum _{t=0}^{T-1}{\hat{\epsilon }}_{kt+1}^2\\ & =-\frac{T}{2}\ln (2\pi {\hat{\sigma }}_k^2)-\frac{T{\hat{\sigma }}_k^2}{2{\hat{\sigma }}_k^2}\\ & =-\frac{T}{2}\ln (2\pi {\hat{\sigma }}_k^2)-\frac{T}{2},\end{array}$$

因此

$$-2T^{-1}\ln \hat{p}({\hat{\beta }}_k|Z_T)=\ln {\hat{\sigma }}_k^2+C,$$

其中 C 是不随模型变化的常数。因此，对于具有单变量因变量的线性回归，AIC 的形式为

$$\mathrm{AIC}(k)=\ln {\hat{\sigma }}_k^2+\frac{2n_k}{T},\text{\hspace{1em}(6.14)}$$

BIC 的形式为

$$\mathrm{BIC}=\ln {\hat{\sigma }}_k^2+\frac{n_k\ln (T)}{T}.\text{\hspace{1em}(6.15)}$$

Mallows（1973）提出的 Mallows $C_p$ 准则是第三个常用于从一组线性回归中选择子模型的准则。考虑一个包含 $n_k$ 个回归变量且具有相应残差平方和 ${\mathrm{SSR}}_k$ 的模型，并设 ${\hat{\sigma }}^2$ 表示包含所有可能 ($n_K$) 个回归变量的"超"模型的残差方差估计值。则 Mallows $C_p$ 准则的形式为

$$C_p(k)=\frac{{\mathrm{SSR}}_k}{{\hat{\sigma }}^2}-T+2n_k.\text{\hspace{1em}(6.16)}$$

最优模型为所有可能模型中 $C_p$ 值最小的模型。$C_p$ 准则是在相关变量被遗漏的情形下对样本内均方误差期望值的估计量。

基于Mallows $C_p$的线性回归模型选择在渐近意义上等价于基于AIC在同一模型集合上的模型选择。为验证这一点，将(6.14)式乘以$T$并减去公共项$\ln ({\hat{\sigma }}^2)$，可见AIC等价于基于$T\ln ({\hat{\sigma }}_k^2/{\hat{\sigma }}^2)+2n_k$的模型选择。在方差比等于1处对自然对数进行一阶泰勒展开，得到：

$$T(\mathrm{AIC})-\ln ({\hat{\sigma }}^2)\approx T\left(\ln (1)+\left(\frac{{\hat{\sigma }}_k^2}{{\hat{\sigma }}^2}-1\right)\right)+2n_k=\frac{T{\hat{\sigma }}_k^2}{{\hat{\sigma }}^2}-T+2n_k,$$

当${\hat{\sigma }}_k^2$为最大似然估计量时，这就是Mallows $C_p$。在大多数情况下，泰勒展开所产生的近似误差会在大样本中消失。

为确定线性自回归模型的阶数，Hannan和Quinn(1979)提出了如下模型选择准则：

$$\mathrm{HQIC}(k)=\ln {\hat{\sigma }}_k^2+\frac{2k\ln (\ln T)}{T}.\text{\hspace{1em}(6.17)}$$

该准则基于两方面考虑：一是确保滞后阶数$k$的一致性估计，二是尽可能避免对回归的过拟合。(6.17)式中的惩罚项通常介于AIC与BIC的惩罚项之间。

BIC也常被用于选择自回归或ARMA模型的滞后阶数；参见例如Marcellino、Stock和Watson(2006)。通常会施加滞后阶数不存在"间隔"的约束——例如排除包含滞后1、3和7的模型——这大大简化了对模型设定的搜索过程。