正在学习

11.4 小结

11.4 结论

筛方法(例如人工神经网络)具有强大的近似能力,能够近似非常广泛的非线性模型集合。这一性质依赖于包含无穷多项。然而,值得认识到的是,任何估计出的筛模型本身也是对这个无穷阶近似的近似。有限样本应用以有限级数近似无穷级数,并且必须依赖于被估计的参数,而这些参数随后会受到估计误差的影响。因此,采样误差压倒从以更灵活方式近似潜在模型所获得的任何收益,这构成了一种真实的风险。模型选择方法可用于降低过度参数化的影响,但非参数预测方法相对于其他灵活性较低的方法的实际有用性需要经过评估而非想当然地接受。

非参数方法的主要困难在于所谓的维度灾难。即使只有一个预测变量,这些方法也并不特别精简,而当存在多个预测变量时,可能需要估计非常多的参数(在级数类方法中),或受到稀疏数据的影响(在核方法中)。投影寻踪回归等方法试图避免这一问题,但关于它们在预测中的表现经验有限。

另一个问题是,非参数估计的结果可能难以解释。在将此类方法视为自动预测装置的程度上,这未必构成问题。然而,如果模型估计关系的可解释性很重要,那么非参数方法就不如参数方法那样易于使用。某种程度上,这类问题可以通过使用图形来说明输入变量如何映射为预测结果来加以解决,尽管这比仅仅查看各个回归系数的估计值要付出更多努力。

二元预测

许多经济应用涉及具有受限支撑的数据。例子包括消费者在有限几种可能性中做出的购车决策,或美联储以25个基点为倍数变动联邦基金利率的决定。当结果变量具有受限支撑时,在构建和评估预测模型时需要将其纳入考虑。这对损失函数的选择也具有影响。为了说明,考虑二元预测问题,其中观测结果Y取两个值之一。例如,我们可能预测是否会出现衰退、资产价格是否上涨、企业或家庭是否破产、或学生是否被大学录取。在这些情况下,特定结果要么发生,要么不发生。显然,在这些情况下预测值合理地不能取实数线上的任何值。

至于所有预测问题,我们可以考虑结果变量的密度预测或点预测。在二元模型中,给定z时Y的密度由条件均值完全描述,因此关于二元预测的文献一直关注密度预测。此外,与大多数预测问题不同,条件均值(除平凡情形外)并不是二元变量的可能取值,因此并不为Y提供点预测。获得条件均值的标准方法因此产生的是密度预测而非点预测。这种不同寻常的二元划分延伸到了预测评估;对二元变量的大多数预测评估方法实质上是密度评估而非点预测评估。

对二元结果的点预测会引出一些有趣的问题。首先,密度预测与点预测之间存在直接关系。由于结果变量和预测都只能取两个可能值,损失函数极为简单,因此更容易使损失函数与可能产生的损失相匹配。对于评分规则——分布预测的损失函数——效用函数与恰当评分规则之间的直接关系已经被建立起来。对于点预测,损失函数的简单性产生了一类固定的合理损失函数。尽管损失函数很简单,但它并非完全表现良好,因为它依赖于符号函数,而符号函数是不连续的。这使得估计在某种程度上更具挑战性,并导致了估计中的简化处理,而在许多情况下这些简化处理可能导致预测模型效果较差。

关于二元预测的早期工作在很大程度上来自天气预报领域,因此有必要通过包含一个关于命名法差异的说明来连接预测文献的不同领域。在天气预报文献中,Y的无条件分布被称为气候预测,并通常被用作基准;点预测被称为确定性预测,而分布预测被称为概率预测。

第12章的安排如下。12.1节涵盖二元结果情形下的点预测和概率预测,而12.2节讨论二元变量的密度预测。二元结果变量点预测的估计和构建在12.3节中进一步讨论,该节还包括一个实证应用。12.4节呈现一个实证应用,12.5节给出总结。

练习题

是什么特性使得诸如人工神经网络之类的筛法能够近似于广泛的非线性模型集?

A. 包含有限多项
B. 包含无限多项
C. 使用单个预测变量
D. 参数数量有限

估计的筛模型本身是对什么的近似?

A. 有限阶近似
B. 线性模型
C. 无限阶近似
D. 参数模型

与筛模型有限样本应用相关的主要风险是什么?

A. 数据过拟合
B. 数据欠拟合
C. 抽样误差超过灵活逼近带来的收益
D. 无法逼近任何模型

在筛模型中,模型选择方法的作用是什么?

A. 增加参数的数量
B. 降低过度参数化的影响
C. 使模型更复杂
D. 消除估计的需要

非参数方法的主要困难是什么?(选择所有适用的选项)

A. 它们过于简单
B. 维度灾难
C. 它们总是简洁的
D. 结果解释困难
E. 它们需要的参数数量很少

当模型估计关系的可解释性较为重要时,非参数方法与参数方法一样易于使用。

使用图形可以完全消除对非参数估计结果进行解释的问题。

在二元预测问题中,观测到的结果取___值之一。

在二元模型中,给定的概率密度完全由___来描述。

解释二元预测评估中不寻常的二分法。

在二元结果中,密度预测和点预测之间有什么关系?

以下关于二元结果点预测的陈述哪些是正确的?(选择所有适用的选项)

A. 损失函数极为简单
B. 损失函数依赖于一个连续函数
C. 易于使损失函数与潜在损失相匹配
D. 损失函数表现良好且连续
E. 由于损失函数的性质,估计可能具有挑战性

以下关于非参数方法和维度灾难的陈述中,哪些是正确的?(选择所有适用的选项)

A. 即使只有一个预测变量,非参数方法也并不十分简洁
B. 对于多个预测变量,在序列型方法中需要估计少量参数
C. 对于多个预测变量,核方法不受稀疏数据的影响
D. 投影寻踪回归试图解决维度灾难问题
E. 维度灾难只会在有大量预测变量时发生

当使用人工神经网络等筛法进行预测时,关于灵活性与估计误差之间的权衡,以下哪项陈述是正确的?

A. 增加筛模型中的项数总能提高预测准确性,且不会引入任何缺点。
B. 筛模型在有限样本应用中用有限级数近似无限级数,引入的估计误差可能超过灵活性带来的增益。
C. 参数较少的筛模型总是更优,因为它们能完全消除维度灾难。
D. 维度灾难仅影响基于核的方法,不影响人工神经网络。

关于非参数预测方法面临的挑战,以下哪些陈述是正确的?

A. 非参数方法不受维度灾难的影响。
B. 投影寻踪回归试图解决维度灾难问题,但预测经验有限。
C. 非参数估计结果的可解释性简单直接,与参数方法类似。
D. 当使用多个预测变量时,基于核的方法可能会受到稀疏数据的影响。
E. 提升回归树缺乏灵活性,无法捕捉数据的局部特征。

解释维度灾难如何影响非参数方法,以及投影寻踪回归如何尝试解决这一问题。

登录后解锁笔记、知识点解析、AI 问答

立即登录