3.4 贝叶斯方法与经典方法的关系

3.4 贝叶斯方法与经典方法的关系

对于参数所有可能取值上的任何权重方案 $\pi (\theta )$，贝叶斯方法都能找到最佳的平均方法。而经典方法由于通常对插件估计器的随意使用，其加权平均风险可能达到也可能无法达到相同的水平。即使在损失函数和预测密度相同的设定下，人们仍然可能找到一种贝叶斯方法，使其对所有可能的 $\theta$ 值都具有等于或小于经典方法的风险。反之，如果两种方法等价，那么经典方法就不会被超越。

例 3.4.1（高斯数据下 Linex 损失中经典风险与贝叶斯风险的比较）。 为了比较经典方法和贝叶斯方法的结果，假设方差已知。(3.17) 式中的经典插件估计量为

$$\hat{f}(z)={\bar{y}}_T+\frac{a{\sigma }^2}{2}.$$

对于任何正态先验，该估计量都会产生比最优规则更高的风险。为了看清这一点，请注意对于 (3.28) 式中的最优规则，

$$R(\theta ,f)=\frac{a{\sigma }^2}{2}\left(1+\frac{1}{T}\right)-1,$$

而对于经典插件规则，

$$R(\theta ,\hat{f})=\exp \left[\frac{a^2{\sigma }^2}{2T}\right]+\frac{a{\sigma }^2}{2}-1.$$

这两种风险度量之间的差异为

$$\begin{array}{c}R(\theta ,\hat{f})-R(\theta ,f)=\exp \left[\frac{a^2{\sigma }^2}{2T}\right]+\frac{a{\sigma }^2}{2}-\frac{a{\sigma }^2}{2}\left(1+\frac{1}{T}\right)\\ =\exp \left[\frac{a^2{\sigma }^2}{2T}\right]-\frac{a^2{\sigma }^2}{2T}>0.\end{array}$$

这是因为对于偏离 0 的自变量，损失函数是正的。

在经典设定中，通过估计量 $\hat{\theta }(z)$ 来构造 $f(z)$ 的插件方法可能是随意的，而非旨在最小化平均损失。预测者通常选择那些对参数本身具有良好性质的估计量。例如，常常采用对 $\theta$ 本身具有逐点一致性、渐近正态性和渐近有效性的估计量。这些估计量的特征忽略了参数之间可能存在的权衡，而这些权衡本可以用于生成具有更好风险性质的预测。因此，对于构造预测 $f(z)$，插件方法可能无法产生良好的预测规则，即使对于合理的权重函数 $\pi (\theta )$ 也是如此。最终，预测的目的不是估计 $\theta$，而是最小化这些参数的某个函数。

实际上，最优方法和随意方法之间的风险差异未必很大。在上面这个非常简单的例子中，当样本量 $T$ 较大时，差异很小。即使一种方法并非严格可容许的，它也可能"足够接近"，从而使经典方法表现得相当好。

可容许性——即在参数 $\pi (\theta )$ 的某种加权平均下使用最佳预测方法——如果特定的权重 $\pi (\theta )$ 对于手头的特定问题在经验上并不合理，那么它就不是一个令人兴奋的性质。

最后，所有此类预测方法的比较都要求模型 ${\rho }_Y(y|z,\theta )$ 除了未知参数外被正确设定。这违背了现代预测的精神与实践。真实的模型通常是未知的。尽管如此，贝叶斯方法提供了一种构造预测的方法，该方法对于所设定的模型（如果为真）保证是可容许的。即使真实模型不一定就是用于构造预测的模型，只要预测模型接近真实模型，我们就能确保所使用的方法对这个特定模型是有效的。

从以上讨论可以得出，即使对于非常简单的预测问题，也很难找到最优解。因此，对于不同的数据分布和模型参数值的组合，存在替代方法占优的空间。这种缺乏单一占优方法的状况，在很大程度上解释了对不同预测方法进行经验比较的兴趣为何日益增长。