6.9 模型选择方法的风险：蒙特卡罗模拟

6.9 模型选择方法的风险：蒙特卡洛模拟

模型选择方法应被视为估计过程的一部分。这使我们关注预测方法的风险，它是选择规则、考虑的模型集合、数据以及真实模型参数的函数。例如，对于两个模型和统计量 $\phi (z)=\{0,1\}$（其中 0 表示选择第一个模型，1 表示选择第二个模型），由模型选择方法生成的预测可以写为

$$f^{\mathrm{MS}}(z)=f_1(z_t,{\hat{\beta }}_1)(1-\phi (z))+f_2(z_t,{\hat{\beta }}_2)\phi (z).\text{\hspace{1em}(6.43)}$$

与模型选择过程相关联的预测只是数据的一个比任一单独模型更复杂的函数。然而，它仍然是数据的函数，因此具有一个依赖于真实模型参数 $\theta$ 的风险函数。一个良好的模型选择程序在那些并非明显误设的合理模型上提供可接受的风险。一致性准则以如下方式考察风险：它关注当真实模型位于候选模型集合中时，逐点渐近风险的最小化。渐近效率关注当真实模型大于任一候选模型时，相对风险的极限。这些性质中的每一个都是渐近的。风险的小样本评估表明，一致性模型选择方法通常不会以概率 1 选择正确模型。在渐近意义上与最优模型一样好的方法，在小样本中也不会总是与最优模型一样好。因此，在蒙特卡洛设定下考察一些常用方法的风险函数是具有建设性的。

考虑蒙特卡洛实验的另一个原因是，与本章所涵盖的基于模型选择方法的预测相关的风险函数通常很难进行解析刻画。原因在于，所选择的预测并不是底层数据的光滑函数，从式 (6.43) 可以清楚地看出这一点，并且风险在很大程度上依赖于预测模型的参数。

第一个蒙特卡洛模拟考察独立同分布数据的均值估计，数据生成方式为

$$y_t=\mu +{\epsilon }_t,{\epsilon }_t\sim \mathrm{ind}\mathrm{N}(0,1).\text{\hspace{1em}(6.44)}$$

在 MSE 损失下，最优但不可行的估计量是已知均值 $\mu$，这导致风险为 1，即不可预测成分 ${\epsilon }_t$ 的方差。基于样本均值的均值估计的风险等于 $(1+T^{-1})$，其中 $T$ 为样本量。除了直接使用样本均值外，我们还可以采用上述模型选择方法，在固定均值 $\mu =0$（因此不涉及估计误差）的模型与使用样本均值 ${\bar{y}}_t$ 作为预测的模型之间进行选择。我们所采用的方法包括：(i) AIC；(ii) BIC；(iii) 基于双侧备择假设、检验水准为 5% 的 t 检验的预检验方法；(iv) 对第 (iii) 项中损失最小化方法的 Bagging，使用从去均值数据中有放回抽样的 i.i.d. 自助法。

图 6.7：常均值模型（$\mu$）且无时变预测变量情况下，不同模型选择方法的估计相关风险。横轴表示均值 $\mu$ 的大小，纵轴表示估计相关风险。

图 6.7 显示了使用样本量 $T=100$ 时，这四种方法中四种的近似估计相关风险。估计相关风险通过去除不可预测成分来消除一阶不确定性。在这里，这相当于从风险中减去 1。当真实均值接近 ${}^0$ 时，在本例中，每种模型选择方法的风险都低于直接估计均值时的风险。这是因为模型选择方法具有非零概率选择强制均值为零的预测。然而，它们并非总是以概率 1 选择 $\mu =0$ 的正确模型，这正是没有任何方法实现零估计相关风险的原因。$\mu =0$ 处风险的差异反映了无均值模型被选中的概率。

然而，在真实模型 $\mu =0$ 时应用模型选择方法所带来的这种收益是有代价的，因为当 $\mu$ "较小"（即接近但不完全等于 0）时，所有模型选择方法的风险都远高于直接使用样本均值预测 $\mathbf{y}$ 时的风险。在该参数空间邻域内，风险上升至高于直接使用样本均值的风险，因为选择强制 $\mu =0$ 的（错误）模型的概率不可忽略，这会对 MSE 产生不利影响。该参数空间区域恰恰是检验难以区分两个模型的地方。然而，最终随着真实均值变大，每种模型选择方法以概率 1 选择具有非零均值的模型，风险再次下降至直接估计样本均值的水平。

风险函数中的这种"驼峰"被前面讨论的逐点证明所忽略——在渐近意义上，对于任意 $\mu \ne 0$ 的点，风险函数逐点收敛于 0。然而，驼峰永远不会消失，并且在 $\mu =0$ 附近总是存在一个区域，在该区域内模型选择方法不会以概率 1 选择任一模型，因此模型选择所引发的风险总是有可能高于使用较大模型时的风险。因此，一致收敛结果不仅具有理论意义，而且具有实际价值。

当搜索中纳入更多模型且系数局部于 $0$ 附近时${}^{[15]}$，可以得到类似的结果。考虑用 $n_K=8$ 个可能的回归变量来预测一个被解释变量。假设这些回归变量彼此独立，并通过系数向量为 ${\beta }_0$ 的线性模型与被解释变量相联系。设 $n_{k_0}$ 个系数等于 $\mu /\sqrt{n_{k_0}T}$，其中 $T$ 为估计样本长度，我们仍将其设定为 100。其余系数设为 0，因此数据生成过程为：

$$y_{t+1}=\sum _{i=1}^{n_{k_0}}\frac{\mu }{\sqrt{n_{k_0}T}}{x}_{it}+{\epsilon }_{t+1},{\epsilon }_{t+1}\sim \mathrm{iid}\mathrm{N}(0,1).$$

全模型使用全部八个回归变量。当 $\mu \ne 0$ 时，正确设定的回归仅包含与 $n_{k_0}$ 个非零系数相对应的那些变量。我们考虑序贯假设检验——剔除所有 t 统计量在 5% 水平下未能通过双侧显著性检验的变量——以及 BIC 和 AIC。图 6.8 给出了 $n_{k_0}=3$ 时的结果，因此大多数变量应被剔除；而图 6.9 则在 $n_{k_0}=7$ 的情况下重复同样的练习，因此仅需剔除一个变量。

图 6.8 表明，0 附近的"凸峰"现象在更复杂的情形中依然存在。实际上，唯一的问题在于凸峰有多大。模型选择方法此时可能比全纳入法（即同时包含有用和无用的回归变量）表现更差。尽管如此，对于大多数参数空间，模型选择方法仍然优于全纳入法，这也解释了为什么模型选择在实践中很受欢迎。此外，当 $\mu$ 充分接近 0 时，模型选择方法甚至比正确设定表现得更好。这是因为模型选择方法本质上是收缩估计量，所以当 $\mu$ 接近 0 时，收缩是一种有用的方法。

在上述例子中，AIC 与 BIC 以及序贯检验方法的性质有显著差异。当其他方法表现良好时，AIC 表现并不太好；而当其他方法表现较差时，AIC 也并未同样地变差。这正是前述过拟合所导致的结果。当纳入过多变量时，系数估计的收缩程度不够，我们更接近于包含所有回归变量且风险函数为平坦的解。随着 $\mu$ 变大，没有一种方法能比仅纳入正确回归变量的方法表现更好。尽管 BIC 具有正确渐近模型选择的性质，但在小样本中该方法仍表现出一定的过拟合倾向。这种过拟合不像 AIC 那么严重，因为 AIC 在渐近意义上也会过拟合。在本实验中，序贯假设检验方法接近 BIC，但在更大样本中，BIC 的损失函数将更接近正确设定下的损失函数。

图 6.8：八个时变预测变量中三个具有非零系数的模型下，不同模型选择方法的估计相关风险。横轴表示三个预测变量非零系数的幅度，纵轴表示估计相关风险。

当几乎所有变量都应被纳入时，真实模型与包含所有变量的模型之间的差异显然很小，如图 6.9 所示。无需剔除许多变量的影响是三方面的：第一，当系数非常接近 0 时，模型选择的收益更大；第二，对于远离 0 的系数，期望损失中凸峰的规模更大；第三，当系数充分远离 0 时，所有方法的表现相似，因为可能的选择范围很小。不过，凸峰的相对大小以及随 $\mu$ 增大各方法最终趋于稳定的方式在所有方法间是一致的。

尽管有上述结果，相较于单纯使用基础模型，预检验方法确实具有一些有价值的性质。对于非零参数的足够大的值，预检验估计量在渐近意义上具有与搜索所涉及模型集合中最大模型相同的风险。这直接源于预检验具有一致性的性质，因而序贯搜索所偏好的模型将是最大模型，两者具有相同的风险函数。这使得风险函数不会因错误剔除远离 0 的变量而无界地增大。收缩方法则不具备这种性质。然而，这也许并不像看起来那么令人欣慰，因为它仅保证在明显某些参数非零的情况下——即向 0 收缩不太可能是一种合理方法的情形——预检验方法表现良好。

图 6.9：八个时变预测变量中七个具有非零系数的模型下，不同模型选择方法的估计相关风险。横轴表示七个预测变量非零系数的幅度，纵轴表示估计相关风险。

这些结果与Ng（2013）的研究发现相一致，即在评估相关预测的有限样本风险时，BIC或AIC准则之间并不存在系统性的优劣之分。Ng（2013）通过蒙特卡洛模拟发现，小模型（参数较少的模型）并不一定优于大模型，即使数据是由一个具有有限参数个数的模型生成的。我们无法回避这样一个问题：最优的预测方法将取决于真实的数据生成过程，而在实际中该过程是未知的。