4.3 参数估计与非参数估计方法

4.3 参数化与非参数化估计方法

将预测模型集合 $f(z)$ 限制于特定参数化形式 $f(z,\beta )$ 会导致一种较弱意义上的预测最优性。这一结论直接源于最大化的概念，因为在更广泛的模型集合上进行最大化在样本内不会得到更差的结果。在实践中，预测者通常会在某个缩减集合 $\mathcal{M}$ 中的备选参数化模型之间进行选择。将 $\mathcal{M}$ 限制为仅包含有限数量的模型就产生了所谓的模型选择问题。当模型集合是无限维时，我们将模型选择称为半非参数化问题。

第 6 章将更详细地考察模型选择问题，包括不同方法的性质讨论以及这些性质成立的条件。本节仅提出与当前讨论相关的几点。首先，尽管通常存在能够一致地选择正确模型的方法——前提是该模型包含在所考虑的集合中——但风险函数并不等同于在模型真实已知时所获得的风险函数。因此，模型选择下预测最优性的概念即便能够建立，也再次是相当弱的。

当结果 $Y$ 和预测变量 $Z$ 的联合分布未知时，常用 sieve M 估计方法来获得预测模型。这类方法通过用近似函数替代已知或假定的预测函数 $f(z,\beta )$，将式 (4.2) 中的估计过程推广为 ${\tilde{\beta }}_0^{\prime }{z}_T+{\sum }_{j=1}^{J_T}{\tilde{\beta }}_{j}g(z_T,{\gamma }_j)$，其中 $\beta =({\tilde{\beta }}_0^{\prime },{\tilde{\beta }}_1,\dots ,{\tilde{\beta }}_{J_T},{\gamma }_1,\dots ,{\gamma }_{J_T}{)}^{\prime }$，参数向量的规模通过项数 $J_T$ 依赖于样本量 $T$。通常选取 $g$ 的函数形式使其对一类广泛的潜在预测函数具有良好的近似性质。第 11 章将更详细地考察这些方法。Chen（2007，定理 3.1）给出了一般条件下 $\hat{\beta }$ 对 ${\beta }^{\ast \ast }$ 的一致性估计结果。这些条件与上文 M 估计所列条件类似——模型在单点 ${\beta }^{\ast \ast }$ 处的可识别性、损失函数关于参数的连续性以及一致性收敛——但由于我们现在处理的是模型序列，相关结果的建立要更为困难。此外，sieve 模型的参数（即 $\beta$ 值）也存在一些限制。尽管模型的一致性当然有助于建立结论，但在任何实际的预测情形中，预测 $f(z,{\beta }^{\ast \ast })$ 与 $f(z,{\beta }_0)$ 之间的关系并不明显。

4.4 结论

本章在条件分布 ${\rho }_Y(y|z,\theta )$（包括参数 $\theta$）已知的经典情形下，阐述了预测最优性的概念，并与模型及其参数未知情形下实际获得的最优性进行了联系。模型和参数的不确定性从以下几个方面根本性地影响我们对预测最优性的理解。

第一，应避免使用与预测者损失函数不同的目标函数的估计方法，因为没有明显理由认为此类参数估计能够很好地最小化预测者的风险。这正是 Granger（1993）告诫不要基于不同准则进行估计和评估的原因，这一观点在预测文献中已多次提出（例如 Weiss（1996））。唯一的例外是当预测模型基于正确设定模型的最大似然估计时。然而，我们认为对大多数预测问题而言，完整正确地设定数据的联合密度是极不可能的。

第二，即使模型在除一组未知参数外被正确设定，并且参数采用相应的损失函数进行估计，充其量也只能建立一族最小风险预测方法族，而不是单一的预测最优方法。这一观点在上一章中已经确立，并且更为一般地适用于本章所有结果。

第三，即使预测由参数化模型构造，最佳情形下我们所能获得的也仅仅是使用正确损失函数时来自受限预测模型集合的最优预测。

第四，即使预测基于正确的损失函数，数据的异质性意味着 ${\beta }^{\ast }$（针对当前预测问题的最优参数）的估计量 $\hat{\beta }$ 实际上很可能收敛到 ${\beta }^{\ast \ast }$（针对预测问题的平均最优参数），这里的平均是对生成数据的随机变量进行的。在实践中，这一差异可能很小，但并非必然如此。当然，若数据异质性可以被建模，则可以在这一方向上加以改进。第 19 章考察了此类例子。

第五，在采用正确损失函数估计的预测模型中，不同的估计量会在参数空间的不同区域之间权衡风险，以减小参数估计误差的影响。这正是考虑受限损失函数的缘由。在有限数据样本下构造良好预测（例如采用贝叶斯向量自回归）的大量工作，正是源于对这些二阶效应的考察。