正在学习
18.2.2 决议
18.2.2 分辨力
分辨力(Resolution)回答以下问题:条件分布是否不同于无条件分布?我们在例子中看到,校准(calibration)无法区分条件密度的正确设定与无条件密度的正确设定。分辨力试图解决这一问题。分辨力通常通过条件均值和无条件均值之差 来检验,因此它是预测值 的函数。平均分辨力依赖于对该平方差在不同 值上求平均。对于二元结果,高分辨力要求密度预测能够区分不同情形下 的可能性。如果密度预测与该结果的无条件分布等价,则分辨力等于 0。
沿着与校准相同的路径,我们可以通过关注某个事件 ,从任何连续分布构造二元结果。对于任何这样的事件 ,我们可以考察 与 之间的差异。
例 18.2.3(高斯密度预测的比较,续)。 当 时,我们知道对于第二个预测,。无条件地,。那么对事件 的条件预测与无条件预测之差为 。显然,条件信息(对 的了解)产生了不同的预测,这正是分辨力背后的思想。这个例子还表明,对差值取平方是有意义的,因为该差值在 时为正,在 时为负。
同样,可以使用 值的"分箱"(bins)或值域来检验分辨力。使用分箱可为每次比较提供多个观测值。使用与 (18.11) 中相同的各项定义,使用 个分箱的分辨力度量如下:
其中 是事件 的(无条件)样本均值。与校准一样,可以使用非参数方法来估计分辨力作为 的函数。
18.2.3 锐度
锐度(Sharpness)是分布预测的一种性质,因此不依赖于结果 。这一性质关注分布预测能否相对清晰地区分不同的结果。对于二元结果而言,以例如 80% 的高概率预测 比以 55% 的概率预测该事件更为锐利。当针对连续分布的结果时,如果预测将零概率赋予全部可能结果中的一个较大集合,并将高概率赋予那些被预测会发生的结果,则认为该预测是"锐利的"。换言之,, 对于任意概率 ,若在 的支撑集上存在区间 ,使得 ,那么区间 的长度较短。
例 18.2.4(高斯密度预测的比较,续)。 设 。对于第一个预测,,其中 。对于第二个预测,,其中 。显然,第二个预测比第一个预测更为锐利。
由于人们总是可以通过将概率 1 赋予单个点来给出非常锐利的预测,因此锐度性质必须(并且在实践中也确实是)与其他理想预测的性质结合使用。Mitchell 和 Wallis(2011)提出了关于锐度在实际应用中的一些其他问题。
练习题
在密度预测的背景下,分辨率衡量的是什么?
如果密度预测的分辨率为0,这意味着什么?
以下关于分辨率的陈述中,哪些是正确的?
对分辨率测量中的差值进行平方是必要的,因为差值可能为正也可能为负。
使用个区间的分辨率度量公式为,其中是这一事件的__________样本平均值。
解释为什么二元结果的高分辨率很重要。
在高斯密度预测的背景下,当时,的条件预测和无条件预测有什么区别?
清晰度是分布预测的一个属性,它取决于实际结果。
对于任意概率,若在的支撑集上存在一个区间,使得,则区间的__________长度表明了精确性。
仅使用锐度来评估预测的主要问题是什么?
以下关于清晰度的陈述中,哪些是正确的?
分辨率与标准二次概率分数分解之间有什么关系?
以下哪项陈述正确描述了分布预测中分辨率与校准之间的关系?
关于标准二次概率得分的分解,以下哪些陈述是正确的?
如果密度预测等同于结果的无条件分布,则分辨力等于0。
清晰度是分布预测的一个属性,它反映了预测对不同结果之间的区分是否相对清晰。对于二元结果,以高概率(如___)预测比给该事件分配55%概率的预测更清晰。
解释在分布预测的背景下,清晰度(sharpness)和分辨率(resolution)是如何关联的。
登录后解锁笔记、知识点解析、AI 问答
立即登录