14.4.3 模型组合的风险

14.4.3 模型组合的风险

我们使用 BIC 来比较选择单一模型与模型组合之间的选择。具体来说，我们比较当 BIC 用于选择单一模型时的结果与当 BIC 用于计算模型组合权重时的结果，后者将在下面的（14.35）中描述。考虑第 6 章中的实验，其中数据生成过程具有八个不相关的回归变量，其中三个回归变量具有局部接近 0 的系数——参数值如图 14.12 的 x 轴所示。其余五个系数为 0。在 MSE 损失下，针对四种方法报告风险函数：（i）使用 OLS 估计系数的正确设定回归——这是较低的平直线；（ii）在 OLS 回归中包含所有八个变量的方法——这是较高的平直线；（iii）由 BIC 选择的预测模型，其参数通过 OLS 估计——这是驼峰形曲线；（iv）使用 BIC 权重和 OLS 估计的所有可能模型的组合——这是看起来像二次曲线的线。

风险函数的形状符合预期。当所有系数都为 0 时，BIC 选择表现良好；当系数足够大以至于 BIC 能够可靠地选择正确模型时，BIC 选择也表现良好。然而，在这两种情况之间，BIC 方法的风险相当高，如第 6 章所讨论的。BIC 加权组合的风险函数形状也符合预期。当所有系数都为 0 时，这种方法将较大的权重放在较小的模型上。随着系数变大，组合方法继续将相当大的权重放在不是良好预测器的模型上，因此风险变得很大。结果表明，模型选择和模型组合方法在系数接近 0 和系数远离 0 时表现都不同。平均化有效地消除了由单一模型选择引起的风险函数中的驼峰，但代价是在真实模型开始显现时表现不佳。

图 14.12：不同模型组合策略的风险。