2.1.3 预期损失的存在性

2.1.3 期望损失的存在性

必须对损失函数的形式施加限制,以使最小化期望损失这一概念有意义。最基本的要求是期望损失存在。假设预测通过参数向量 $\beta$ 依赖于数据 $Z$，而 $\beta$ 又依赖于数据生成过程的参数 $\theta$，即 $f=f(z,\beta )$。根据期望损失的定义,我们有:

$$E_Y[L(f(z,\beta ),Y)]=\int L(f(z,\beta ),y)p_Y(y|z,\theta )dy,\text{\hspace{1em}(2.6)}$$

其中 $p_Y(y|z,\theta )$ 是在给定 $z$ 和 $\theta$ 条件下 $y$ 的预测密度。当结果空间 $\mathcal{Y}$ 是有限集时,该表达式保证是有限的。然而,对于连续分布的结果,有时必须对损失函数施加限制以确保期望损失有限。期望损失的存在性既取决于损失函数,也取决于被预测变量在给定数据下的分布 $p_Y(y|z,\theta )$,其中 $\theta$ 表示该条件分布的参数。因此,期望损失的存在性取决于损失可能达到的数值与被预测变量尾部行为之间的关系,而这种尾部行为由 $p_Y(y|z,\theta )$ 刻画。

确保期望损失存在的一个直接方法是对损失函数设定上界。6 从实践角度来看,这似乎是构建损失函数时一种明智的做法。即便如此,许多最常用的损失函数并没有上界。这种做法部分源于人们没有考虑与所面临的预测问题相关的损失,而是从估计方法中借用"现成的"损失函数,这些方法能够给出最优预测的简单闭式表达式。

有必要说明确保期望损失存在所需的条件。沿用 Elliott 和 Timmermann (2004) 的方法,假设 $L$ 仅依赖于预测误差 $e=y-f$,且可以在平均误差 ${\mu }_e=E_Y[Y-f]$ 附近进行泰勒级数展开:

$$L(e)=L({\mu }_e)+L_{{\mu }_e}^{\prime }(e-{\mu }_e)+\frac{1}{2}{L}_{{\mu }_e}^{\prime \prime }(e-{\mu }_e{)}^2+\sum _{k=3}^{\infty }\left(\frac{1}{k!}\right)L_{{\mu }_e}^k(e-{\mu }_e{)}^k,\text{\hspace{1em}(2.7)}$$

其中 $L_{{\mu }_e}^k$ 表示 $L$ 在 ${\mu }_e$ 处求值的第 $k$ 阶导数。假设 $L$ 仅在有限个点处不解析,且这些点可以忽略,因为它们发生的概率为 0。对 (2.7) 取期望,得到:

$$\begin{array}{l}E[L(e)]=L({\mu }_e)+\frac{1}{2}{L}_{{\mu }_e}^{\prime \prime }{E}_Y[(e-{\mu }_e{)}^2]+\sum _{k=3}^{\infty }\left(\frac{1}{k!}\right)L_{{\mu }_e}^k{E}_Y[(e-{\mu }_e{)}^k]\\ =L({\mu }_e)+\frac{1}{2}{L}_{{\mu }_e}^{\prime \prime }{E}_Y[(e-{\mu }_e{)}^2]+\sum _{k=3}^{\infty }\left(\frac{1}{k!}\right)L_{{\mu }_e}^k\sum _{i=0}^k(\genfrac{}{}{0ex}{}{k}{i})E_Y[e^{k-i}{\mu }_e^i]\\ =L({\mu }_e)+\frac{1}{2}{L}_{{\mu }_e}^{\prime \prime }{E}_Y[(e-{\mu }_e{)}^2]+\sum _{k=3}^{\infty }{L}_{{\mu }_e}^k\sum _{i=0}^k\frac{1}{i!(k-i)!}{E}_Y[e^{k-i}{\mu }_e^i].\end{array}\text{\hspace{1em}(2.8)}$$

该表达式有限的条件是:误差分布的所有矩都存在,只要损失函数关于预测误差的相应导数不为零。这是一个较强的要求,排除了某些有趣的损失函数与预测误差分布的组合。例如,指数型损失(或者下文定义的 Linex 损失函数)与具有有限自由度的学生 t 分布相结合,会导致期望损失无穷大,因为该分布的所有高阶矩不存在。要使 (2.8) 中的高阶项消失,所要求的条件是被预测变量的尾部衰减速度相对于损失函数所隐含的这些项的权重足够快。