12.1 二元结果的点预测与密度预测

12.1 二元结果的点预测与密度预测

我们首先介绍分析中需要的一些符号。设 $Y=1$ 表示某事件发生，$Y=0$ 表示事件未发生，并令随机变量 $p(Z)$ 表示在给定 $Z$ 的条件下 $Y=1$ 的概率。如何将两种结果映射为具体的数值是任意的，文献中某些方法使用事件不发生时结果等于 $-1$ 的归一化方式。为了涵盖这种情况，我们还定义 $\tilde{Y}=2Y-1$，它将结果空间变换为 $\{-1,1\}$。二元预测文献中同时使用这两种编码方式；任一种都会得到相同的结果，尽管某些表达式会有所不同。我们重点关注 $Y$，但也会提供一些关于 $\tilde{Y}$ 的结果以便与原始论文对应。

通常，条件均值 $E[Y|Z=z]$ 提供了 $Y$ 结果的点预测，而 $P[Y|Z=z]$ 给出密度预测。然而，对于二元结果而言，情况并非如此。由于 $Y$ 只取两个值之一，那么 $E[Y|Z=z]=P[Y|Z=z]$，因此估计其中之一等同于估计另一个。另一方面，点预测的支持域应与结果相同，因此对 $Y$ 进行预测的点预测应为 $0$ 或 $1$。除了所有结果相同或结果以确定性已知等平凡情形外，这永远不会等于伯努利分布的条件均值，即 $E[Y|Z=z]=P[Y=1|Z=z]$，因此 $0<E[Y=1|Z=z]=P[Y=1|Z=z]<1$，排除了平凡情形。

密度预测结合效用函数可以用于生成点预测，因此尽管这两个对象各自与条件期望有不同的关系，但它们之间的标准关系仍然成立。通常情况下，我们关注使用预测函数 $f(Z)$ 来预测结果。决策者的效用函数 $U(f,Y,Z)$ 取决于行动 $f$、结果 $Y$，以及可能涉及协变量 $Z$ 的全部或部分子集。如果预测和结果都是二元的，则对于任意 $z$，效用只能取四个可能的值 $U_{f,y}$：

$$U(f,y,z)=\{\begin{array}{ll}{u}_{1,1}(z)& \text{如果 }f=1\text{ 且 }y=1,\\ u_{1,0}(z)& \text{如果 }f=1\text{ 且 }y=0,\\ u_{0,1}(z)& \text{如果 }f=0\text{ 且 }y=1,\\ u_{0,0}(z)& \text{如果 }f=0\text{ 且 }y=0.\end{array}\text{\hspace{1em}(12.1)}$$

图 12.1：概率预测与截止值。

合理的损失函数应满足对所有 $z$ 都有 $u_{1,1}(z)>u_{0,1}(z)$ 以及 $u_{0,0}(z)>u_{1,0}(z)$，使得正确的预测始终优于错误的预测。正确预测负面结果的效用不一定等于正确预测正面结果的效用，因此我们可能有 $u_{1,1}(z)\ne u_{0,0}(z)$。例如，如果预测的结果是股票价格是上涨 $(y=1)$ 还是下跌 $(y=0)$，那么当正确预测市场下跌比正确预测市场上涨更有价值时，我们有 $u_{1,1}(z)<u_{0,0}(z)$。这仅仅意味着对投资者而言避免损失优于获得收益，并可能反映出凹形的效用函数。

回顾第 3 章中风险可定义为期望效用的负值，$R(\theta ,f,Z)=E[-U(f(Z),Y,Z)]$，一个简单的结果使我们能够刻画二元结果下的最优密度预测。在给定 $Z$ 的条件下，当

$$p(Z)>c(Z)\equiv \frac{u_{0,0}(Z)-u_{1,0}(Z)}{u_{1,1}(Z)-u_{0,1}(Z)+u_{0,0}(Z)-u_{1,0}(Z)}\text{\hspace{1em}(12.2)}$$

时，通过设定 $f(Z)=1$，即预测正面结果，可使风险最小化。

我们将 $c(Z)$ 称为截止值，即预测在其两种可能结果之间切换的临界点。当 $Y=1$ 的概率大于由效用函数确定的某个截止值 $c(Z)$ 时，最优预测为 $f(Z)=1$。

一个常见的截止值选择是 $c(Z)=0.5$。图 12.1 说明了这一选择，图中针对一元 $Z$ 展示了 $p(Z)$ 关于 $Z$ 单调递增且 $c(Z)=0.5$ 的情形。模型在 $p(z)>c(z)$ 时预测结果为 $y=1$。当 $u_{0,0}(Z)-u_{1,0}(Z)=u_{1,1}(Z)-u_{0,1}(Z)$ 时，这一选择是最优的，即无论 $Y$ 的方向如何，正确预测相对于错误预测的相对效用是相等的。除 $0.5$ 以外的截止值选择在边际收益不同的情况下是相关的。例如，如果 $y=1$ 的收益大于 $y=0$ 的收益，我们可以将截止值设定在 $0.5$ 以下，从而"过度加权"那些更有价值的预测 $f=1$。

当效用函数不依赖于 $Z$ 时，$c(Z)=c$，并且效用最大化问题可以通过多种归一化方法加以简化。不失一般性，我们可以从 $y=1$ 的效用中减去 $u_{1,1}$，使得正确正预测的效用等于 0，而假负的效用等于 ${\tilde{u}}_{0,1}=u_{0,1}-u_{1,1}<0$。类似地，对于 $y=0$，我们可以从效用中减去 $u_{0,0}$，从而将正确负预测的效用设为 0，将假正的效用设为 ${\tilde{u}}_{1,0}=u_{1,0}-u_{0,0}<0$。这一变化使 (12.2) 中 $c$ 的分子和分母保持不变，并允许我们写出

$$c\equiv \frac{{\tilde{u}}_{1,0}}{{\tilde{u}}_{0,1}+{\tilde{u}}_{1,0}}.$$

在此情况下，我们可以利用效用没有自然单位这一性质来归一化 ${\tilde{u}}_{1,0}+{\tilde{u}}_{0,1}=-1$。这使我们得到 $c=-{\tilde{u}}_{1,0}$，${\tilde{u}}_{0,1}=-(1-c)$，以及简化表示

$$U(f,y,c)=\{\begin{array}{ll}0& \text{若 }f=1\text{ 且 }y=1,\\ -c& \text{若 }f=1\text{ 且 }y=0,\\ -(1-c)& \text{若 }f=0\text{ 且 }y=1,\\ 0& \text{若 }f=0\text{ 且 }y=0,\end{array}$$

其中 $c>0$，效用函数直接表示为截断值 $c$ 的函数。

如果我们构建结果 $p(Z)$ 的分布预测，则必须针对概率使用效用函数，以便同时用于估计和预测评估。如果一个概率预测 $p(Z)$ 在所有可能的截断值 $c$ 下都能产生更高的效用，则它优于另一个概率预测，即 $p(Z)$ 是与效用函数无关的占优规则。如果 $p(Z)$ 是已知的，那么这将是占优规则。然而，更可能的情况是，$p(Z)$ 必须被估计，且模型是误设的，因此 $p(Z)$ 不等于真实条件概率。在这种情况下，某些模型可能在 $c$ 的某些区间内最优，而其他模型可能在 $c$ 的其他区间内最优。

用于估计损失函数的评分规则，如果它是严格的（proper），则可以直接与可能截断值 $c$（范围从 0 到 1）上的权重函数相关联。

严格评分规则的形式为

$$L(p,y)=y{f}_1(p)+(1-y)f_2(p),$$

其中对 $p\in (0,1)$ 有 $\partial f_1(p)/\partial p>0$，且

$$\frac{\partial f_2(p)}{\partial p}=-\frac{\partial f_1(p)}{\partial p}\left(\frac{p}{1-p}\right).$$

图 12.2：不同评分规则的权重。

这一关系最早由 Shuford Jr、Albert 和 Massengill (1966) 给出，并在 Schervish (1989，定理 4.1) 中重新表述。Schervish (1989) 进一步指出，严格评分规则可以写为

$$U(y,p)=\{\begin{array}{ll}-{\int }_p^1(1-c)v(c)dc& \text{对于 }y=1,\\ -{\int }_0^{p}cv(c)dc& \text{对于 }y=0,\end{array}$$

其中 $v(c)>0$（对于 $c\in (0,1)$）。该公式将严格评分规则解释为效用函数的加权和。$v(c)$ 的不同选择产生不同的权重函数。例如，设 $v(c)=[c(1-c){]}^{-1}$ 得到对数评分函数——更常被称为给定条件概率模型时的最大似然目标函数——而 $v(c)=1$ 给出二次评分。注意这两种评分规则在权重上的显著差异。对数评分对那些损失函数产生的截断值接近 0 或 1 的个体赋予的权重，远高于损失函数产生截断值接近 0.5 的个体。二次评分或 Brier 评分（Brier, 1950）对所有个体赋予均匀权重，而球面评分则对截断值接近 0.5 的个体赋予的权重大于截断值接近尾部的个体。对数评分、Brier 评分和球面评分的权重如图 12.2 所示。

权重 $v(c)$ 与评分规则之间的关系可以表示为

$$v(c)=\frac{\partial f_1(c)}{\partial c}\left(\frac{1}{1-c}\right).$$

这些结论适用于对二元问题使用的传统评分规则，如对数评分、Brier 评分和球面评分，它们都以 $p=0.5$ 为中心对称地加权效用函数。此外，这些结论还可以用来构建各种不需要对称处理成本的严格评分规则。