5.5 小结

5.5 结论

贝叶斯预测方法在应用预测中越来越受欢迎。贝叶斯预测模型直接建立在用于模型构建的标准贝叶斯基础之上。特别地，当模型在有限个未知参数范围内已知时，给定数据的预测结果的后验分布可以很容易地从模型参数的后验分布推导得出。与参数后验分布的构建一样，只有最简单的情况才能得到给定观测数据的结果后验分布的闭式解。这意味着数值方法在大多数贝叶斯预测应用中处于前沿地位。这些方法的更多细节将在第9章中提供。

模型选择

只有非常乐观的预测者才会相信他的模型是正确设定的，并且包含了所有与预测相关的变量。这强调了一个观点：在构建对特定结果的预测时，可以合理地考虑一组模型，而不仅仅是单个模型。模型可能在给定一组预测变量时所采用的动态设定上有所不同，在这种情况下，模型选择简化为滞后期长度的选择。模型可能从一长串潜在预测变量中使用不同的子集，在这种情况下，模型选择涉及选择要包含哪些协变量。或者，模型在将预测变量映射到结果的功能形式的选择上可能有所不同，例如在线性和非线性模型之间的选择，或在筛估计中近似阶数的选择。在考虑了许多可能的预测模型之后，自然会问是否可以确定一个单一的"最佳"模型。模型选择或子集回归方法试图选择这样的"最佳"模型，其中"最佳"通常取决于预测者的损失函数、潜在的数据生成过程、预测者的信息集和预测期。

为了便于分析这个问题，假设存在一个有限的预测模型集合 ${\mathcal{M}}_K$，每个模型记为 $M_k$，k = 1, ..., K。每个模型用于生成预测 $f_k(z_t,{\beta }_k)$。模型选择问题与第4章中分析的经典估计问题相关，不同之处在于现在预期损失的最小化涉及在 ${\mathcal{M}}_K$ 中进行搜索以找到最佳预测模型。因此，搜索最佳预测模型的问题已从仅估计单个模型的参数扩展到在受限函数集上进行搜索。

候选模型的列表可以是嵌套的，但不一定必须嵌套。如果所有模型都是一个"超级模型"的特例，该超级模型嵌套了所有其他模型，那么模型选择和参数估计之间的区别就会变得有些模糊。在这种情况下，单个模型作为嵌套模型参数上的零系数约束而出现。

模型选择方法可以分为两大类：使用完整数据样本来选择预测模型的方法（标记为"样本内"方法）和使用"保留"样本来在模型之间进行选择的方法（"样本外"方法）。本章重点讨论样本内方法而非样本外方法。我们在这里做出这种区分主要是因为这两种方法的方法和动机不同，因此更容易分别分析它们。样本外方法将在第16章中讨论。

常用的样本内模型选择方法包括信息准则（IC）、序贯假设检验以及各种形式的交叉验证。对于高维模型，Lasso及其变体方法已得到广泛使用。这些方法的适用程度取决于具体情况：（a）潜在预测变量是少数还是非常多——在后一种情况下，依赖穷举搜索的方法将不可行；（b）在这些潜在预测变量中有用预测变量是少数还是非常多。如果只有少数预测变量有用，则认为模型是稀疏的，在这种情况下，渐近过拟合的方法可能提供较差的预测。Leeb和Pötscher（2005）对模型选择和推断相关问题进行了总体讨论。

6.1节简要讨论了不同模型选择方法所面临的权衡。接下来，我们介绍具体的模型选择方法，如序贯假设检验（6.2节）、信息准则（6.3节）、交叉验证（6.4节）、Lasso方法（6.5节）以及各种硬阈值和软阈值方法，如Bagging（6.6节）。6.7节提供了股票市场收益可预测性的实证应用，6.8节介绍了模型选择方法的性质。6.9节使用蒙特卡罗方法分析各种方法的风险，6.10节给出总结。6.11节包含本章所使用的技术推导。