18.2.4 受试者工作特征（ROC）曲线

18.2.4 受试者工作特征（ROC）曲线

受试者工作特征（ROC）曲线提供了一种评估二元预测的常用方法。这个不寻常的名称源于该方法最初用于分析无线电信号。此后，该方法已成为医学诊断和天气预报中的常用工具。考虑一个产生 $p(z)$ 的密度预测方法，回想一下，对于任意截断值 $c(z)$，预测生成为 $f(z)=1(\hat{p}(z)>c(z))$，如第12章所示。因此，对于任意密度预测 $p(z)$，我们可以计算以下结果表。

其中 TP 是真正例的数量，即方法正确预测结果为 $Y=1$ 的预测次数；TN 是真负例的数量，即正确预测 $Y=-1$ 的次数。FN 和 FP 分别是假负例和假正例的数量。由于预测依赖于 $c(z)$，该表中的数字是 $c(z)$ 的函数。

利用此表，我们可以构建预测方法不同特征的估计量。首先，考虑真正例占实际结果确实为正的比例，$\mathrm{TP}/(\mathrm{TP}+\mathrm{FN})$。这被称为真正例率（或灵敏度），是总体对象 $P[F=1|Y=1]$ 的样本估计。我们还可以考虑假正例率 $\mathrm{FP}/(\mathrm{FP}+\mathrm{TN})$（通常定义为 1 减去特异性），这是总体对象 $E[F=1|Y=-1]$ 的样本估计。自然地，我们希望真正例率为 1，假正例率为 0。在没有完美分类器或预测方法的情况下，提高截断值 $c(z)$ 会导致正预测减少而负预测增加。假设我们设定截断值 $c(z)=0$，使得所有预测都等于 1。那么真正例率和假正例率都等于 1，因为 $\mathrm{FN}=\mathrm{TN}=0$。在另一个极端，假设我们设定 $c(z)=1$，使得所有预测都等于 $-1$。那么真正例率和假负例率都为 0，因为 $\mathrm{TP}=\mathrm{FP}=0$。在这两个极端的 $c(z)$ 选择之间，这两个度量之间存在正相关关系：增加 $c(z)$ 会减少正预测的数量，从而降低真正例率和假正例率。绘制随着 $c(z)$ 变化而联系这两个度量的曲线（其中向右移动表示 $c(z)$ 减小），就产生了 ROC 曲线。该曲线越接近于一个当 $c(z)$ 从 1 移开时立即跃升至 1 的阶跃函数，预测效果就越好。ROC 曲线的一个常用度量指标是曲线下面积。

如上所述，估计的 ROC 曲线是一个阶跃函数。然而，统计文献中已考虑了参数和非参数方法来生成平滑的 ROC 曲线和曲线下面积的估计。较高的 ROC 曲线通常被认为是预测分布的更好估计量，因为它们能在不同截断值 $c(z)$ 下更正确地对结果进行分类。这些曲线可以视为对数据的（相关）均值序列，因此应附带标准误。此外，由于预测本身是估计参数的函数，应考虑估计误差。在实践中，自助法（bootstrap）常用于推断。

实证上，Jordà 和 Taylor（2012）曾使用 ROC 曲线来检验为利用成对货币之间利率差异而建立的套息交易。