6.11.2 赤池信息准则

6.11.2 赤池信息量准则

模型选择的另一种方法是考虑真实模型与某个近似类中模型之间距离的度量。一种这样的距离度量是 Kullback–Leibler 距离或熵。对于真实密度 $p_0(y,x,\beta )$ 和近似密度 $p(y,x,{\beta }_k)$，其定义如下：

$$\begin{array}{r}\mathrm{KL}(p_0,p)=E_{p_0}\left[\ln \frac{p_0}{p}\right]\\ =E_{p_0}\ln p_0-E_{p_0}\ln p,\end{array}\text{\hspace{1em}(6.53)}$$

其中 $E_{p_0}$ 表示在真实概率下的期望值。由于第一项在所有模型之间是常数，仅取决于真实模型，因此使 (6.53) 中真实模型与近似模型之间的距离最小化等价于使第二项尽可能大。该距离可以证明是非负的，并且仅在 $p=p_0$ 时（几乎必然地）为零。不幸的是，真实密度是未知的，因此我们需要找到一种方法使这一思想可操作，同时不大幅简化问题。

一种方法是认为所有模型都是误设定的，因为相对于某个具有参数 ${\beta }_K$ 的未知真实模型而言，它们是欠参数化的。对于每个模型，${\beta }_k$ 是 ${\beta }_K$ 的一个子集，即模型 $M_k$ 的参数少于 $M_K$ 的参数，$n_k<n_K$。考虑 ${\beta }_k$ 的最大似然估计，将它们堆叠成一个 $(K\times 1)$ 向量 ${\hat{\beta }}_k$，其中被省略的变量处为 0，其他地方为 1。同样，我们可以通过在 MLE 值处评估的、围绕 ${\beta }_K$ 的二阶展开来近似对数密度：

$$\ln p({\beta }_K)\approx \ln p({\hat{\beta }}_k)+\frac{1}{2}({\beta }_K-{\hat{\beta }}_k{)}^{\prime }(TI({\hat{\beta }}_k))({\beta }_K-{\hat{\beta }}_k).$$

乘以 $-2$：

$$-2\ln p({\hat{\beta }}_k)\approx -2\ln p({\beta }_K)+({\beta }_K-{\hat{\beta }}_k{)}^{\prime }(TI({\hat{\beta }}_k))({\beta }_K-{\hat{\beta }}_k).$$

忽略与 ${\hat{\beta }}_k$ 无关的项，基于 MLE 值的 $-2E_{p_0}\ln p$ 的近似变为

$$-2E_{{\hat{p}}_0}\ln p_k\approx E_{{\hat{p}}_0}({\beta }_K-{\hat{\beta }}_k{)}^{\prime }(TI({\beta }_k))({\beta }_K-{\hat{\beta }}_k).\text{\hspace{1em}(6.54)}$$

不失一般性，假设 ${\hat{\beta }}_k$ 中的系数出现在 ${\beta }_K$ 的前 k 行。将 ${\beta }_K=({\beta }_{1k}^{\prime },{\beta }_{2k}^{\prime })$（连同信息矩阵一起）按估计参数的维度进行划分，并相应地划分信息矩阵。于是我们有¹⁷

$$\begin{array}{r}{E}_{p_0}({\beta }_K-{\hat{\beta }}_k{)}^{\prime }T\times I({\beta }_k)({\beta }_K-{\hat{\beta }}_k)=E_{p_0}({\beta }_{1K}-{\hat{\beta }}_{1k}{)}^{\prime }T{I}_{11}({\hat{\beta }}_k)({\beta }_{1K}-{\hat{\beta }}_{1k})\\ +E_{p_0}{\beta }_{2K}^{\prime }T{I}_{22}({\hat{\beta }}_k){\beta }_{2K}.\end{array}\text{\hspace{1em}(6.55)}$$

该表达式将问题分解为两部分，即引入方差项的估计部分，以及涉及被省略的真实模型参数的平方偏差项。处理方差项相对简单。该项经信息矩阵适当缩放后类似于 Wald 统计量：

$$T({\beta }_{1K}-{\hat{\beta }}_{1k}{)}^{\prime }(T{I}_{11}({\hat{\beta }}_k))({\beta }_{1K}-{\hat{\beta }}_{1k})\sim {\chi }_{n_k}^2.\text{\hspace{1em}(6.56)}$$

该项的期望值近似为 $n_k/T$。

平方偏差项仅是一个非随机数，取决于被省略系数 ${\beta }_{2K}$ 的大小。Akaike 的方法是注意到该项类似于似然比检验 $-2\ln (\hat{p}({\hat{\beta }}_k|Z)-\tilde{P}({\hat{\beta }}_K|Z))$，用于检验在备择假设下被省略项是否为 0，其中 $p({\hat{\beta }}_K|Z)$ 是基于完整模型的似然函数，因此在不同模型 k 之间是不变的。该检验类似于在零约束下估计 ${\beta }_{2K}$，因此收敛于一个非中心 ${\chi }^2$ 变量。在足够大的样本中，检验这些参数等于 0 的检验统计量服从 ${\chi }_{n_K-n_k}^2(\delta )$ 分布，其中 $\delta$ 是非中心性参数 ${\beta }_{2K}^{\prime }T{I}_{22}({\beta }_k){\beta }_{2K}$。现在 $E_{{\hat{p}}_0}(-2\ln (\hat{p}({\hat{\beta }}_k|Z)-\hat{p}({\hat{\beta }}_K|Z)))=\delta +(n_K-n_k)$，因此非中心性参数 $\delta =E_{p_0}(-2\ln (\hat{p}({\hat{\beta }}_k|Z)-\hat{p}({\hat{\beta }}_K|Z)))-(n_K-n_k)$。结合这些结果，我们得到

$$\begin{array}{rl}& -2E_{p_0}\ln p\approx E_{p_0}({\beta }_K-{\hat{\beta }}_k{)}^{\prime }(TI({\hat{\beta }}_k))({\beta }_K-{\hat{\beta }}_k)\\ & \approx n_k+E_{p_0}(-2\ln p({\hat{\beta }}_k|Z)-p({\hat{\beta }}_K|Z))-(n_K-n_k)\\ & =E_{p_0}(-2\ln p({\hat{\beta }}_k|Z))+2n_k-(\ln p({\hat{\beta }}_K|Z)+n_K).\end{array}\text{\hspace{1em}(6.57)}$$

在最小化该准则时，$\ln p({\hat{\beta }}_K|Z)+K$ 可以忽略，因为对于每个模型它都是相同的，因此 AIC 旨在最小化

$$\begin{array}{r}\mathrm{AIC}(k)=E_{p_0}(-2\ln p({\hat{\beta }}_k|Z))+2n_k.\end{array}\text{\hspace{1em}(6.58)}$$

最佳模型是使真实密度与模型隐含密度之间距离最小的模型，因此在所有候选模型中具有最小的 AIC(k) 值。

预测方法