3.2.3 极小极大与平均风险

3.2.3 最小最大风险与平均风险

与估计类似，我们也可以考虑最小最大（minimax）预测策略。另一种选择预测的方法不是选择使期望损失最小的预测，而是选择在所有可能的未知参数值 $\theta \in \Theta$ 下风险最小的预测。这就是最小最大准则。形式上，若满足

$$\underset{\theta \in \Theta }{\sup }R(\theta ,f_1)<\underset{\theta \in \Theta }{\sup }R(\theta ,f_2),$$

则在最小最大最优性概念下，预测 $f_1$ 优于另一个预测 $f_2$。

更一般地，$f^m$ 是最小最大决策规则，如果它在所有决策规则中最小化 ${\sup }_{\theta }R(\theta ,f)$：

$$\underset{\theta \in \Theta }{\sup }R(\theta ,f^m)=\underset{f\in \mathcal{F}}{\inf }\left(\underset{\theta \in \Theta }{\sup }R(\theta ,f)\right).$$

最小最大规则通常很难识别，除非在非常受限的问题集合中。

例 3.2.8（给定结果观测历史的 MSE 损失，续）。考虑估计量集合 $\{\gamma {\bar{y}}_T\}$，其中 $0<\gamma \le 1$。注意从 (3.20) 可见，对于所有 $\gamma <1$，当 $\mu$ 变大时风险是无界的。对于 $\gamma =1$，风险不依赖于 $\mu$，因此对于任意 ${\sigma }^2$，关于 $\mu$ 的最坏情况为：$\gamma <1$ 时风险无限，$\gamma =1$ 时风险为 ${\sigma }^2(1+T^{-1})$。因此，在该集合中，选择预测方法 ${\bar{y}}_T$ 关于 $\mu$ 是最小最大的。

最小最大结果不仅限于此例。例如，OLS 参数估计通常在线性预测器中产生具有有界风险的最小最大预测，在具有有限二阶矩的预测密度中也如此。

由于通常不存在单一的最优程序能够在 $\theta$ 的所有区域上最小化风险，因此预测方法之间的选择取决于对 $\theta$ 哪些区域最有可能的看法。在上述选择 $f_{\gamma }(z)$ 的例子中，如果我们认为 $\mu$ 的绝对值很可能较大，则可以使用样本均值。相反，如果我们认为 $\mu$ 不太可能相对于例 3.2.4 中推导的界较大，那么我们可以选择收缩估计量。收缩参数 $\gamma$ 的最优选择取决于我们认为 $\mu$ 接近 0 的程度。更一般地，预测方法之间的选择关键取决于我们认为任何预测问题可能涉及的模型族。"厨房水槽"回归（即在预测模型中包含所有可用变量并使用最小二乘估计）提供了一种在广泛参数集合 $\theta$ 上稳健的策略。然而在实践中，由于参数空间中该方法能良好运作的大部分区域可能被合理地认为是不相关的，因此该策略往往提供极差的预测，风险非常高。书中第二部分讨论的所有方法都针对不同的预测情况，可以被视为提供了在不同 $\theta$ 区域上表现良好的模型。

通常进行蒙特卡洛实验以计算不同参数值下的平均损失，并比较竞争的估计方法。然后可以选择"最不坏"的方法，或者选择似乎在大多数情况下表现最佳的方法。我们也可以考虑一种更正式的方法来在方法之间做出选择。记权重函数为 $\pi (\theta )$，我们可以选择最小化 $\int R(\theta ,f)\pi (\theta )d\theta$ 的预测方法，即对所有相关参数平均的风险。加权平均风险是一个单一的数字，能够在不同预测方法之间进行直接比较。