18.3 基于概率积分变换的检验

18.3 基于概率积分变换的检验

连续累积密度函数 $P_Y(y_{t+1}|Z_t)$ 在某个结果 $y_{t+1}$ 处的概率积分变换²(PIT)定义为 $U=$ $P_Y(y_{t+1}|z_1,\dots ,z_t)$。给定一个密度预测 ${\hat{p}}_{Yt}(y_{t+1})$ 和一个结果 $y_{t+1}$，我们可以将 $u_{t+1}$ 计算为观察到小于或等于 $y_{t+1}$ 的值的概率。如果密度预测来自一个参数模型，这个数值可以直接计算出来。如果密度估计是以一组模拟对的形式给出 $\{y_i|z,{\hat{p}}_{Yi}(y|z)\}$，$i=1,\dots ,m$，对应一系列 y 值，正如我们在第 13 章中讨论的那样，PIT 值可以

估计为

$${\hat{P}}_{Yt}(Y<y_{t+1})=m^{-1}\sum _{i=1}^m{\hat{p}}_{Yt}(y_i)1(y_i\le y_{t+1})d{y}_i,\text{\hspace{1em}(18.14)}$$

其中 $d{y}_i$ 是 ${\gamma }_i$ 值的差。

PIT 具有一个有用的性质：如果 $Y$ 真正服从分布 $P_Y(y|z)$，那么 U 在 [0, 1] 上服从均匀分布。要理解这一点，请注意 $P\left[U\le u\right]=P\left[P_Y(Y)\le u\right]=$ $P[Y\le \dot{P_Y^{-1}}(u)]=P_Y[P_Y^{-1}(u)]=u$，而 $P[U\le u]$ 是均匀密度。由于 $P_Y(y)$ 的支撑集在 [0,1] 上，因此 U ∼ Uniform[0, 1]。这里的关键假设是用于计算 PIT 的密度与实际结果的密度相同。

此外，只要条件密度序列在每个时期都被正确设定，由密度预测样本 ${\hat{p}}_{Yt}(y_{t+1})$ 和结果 $\{y_{t+1}\},t=T_R,...,T-1$ 生成的一系列 PIT 值 $\{{\hat{u}}_{t+1}\},t=T_R,\dots ,T-1$ 也将服从 Uniform [0, 1] 且相互独立：${\hat{u}}_{t+1}\sim i.i.d.\mathrm{Uniform}[0,1]$。要使这一性质成立，要求条件密度在每个时点都被正确设定；错误设定的密度会导致违反该性质。例如，如果密度没有正确地以先验信息为条件，${\hat{u}}_t$ 的值可能出现序列相关。

例 18.3.1（GARCH(1, 1) 过程的 PIT 得分）。假设真实密度模型为 GARCH(1, 1)，

$$\begin{array}{rlr}& & y_{t+1}={\mu }_{t+1\mid t}+{\sigma }_{t+1\mid t}{\eta }_{t+1},{\eta }_{t+1}\sim ind\mathrm{N}(0,1),\\ & & {\sigma }_t^2=\omega +{\alpha }_1{\sigma }_{t\mid t-1}{\eta }_t^2+{\beta }_1{\sigma }_{t-1}^2.\end{array}$$

如果预测者使用如下形式的同方差密度模型

$$y_{t+1}\sim \mathrm{N}({\mu }_{t+1|t},{\sigma }^2),$$

则 PIT 变为

$$\Phi \left(\frac{{\mu }_{t+1|t}+{\sigma }_{t+1|t}{\epsilon }_{t+1}-{\mu }_{t+1|t}}{\sigma }\right)=\Phi \left(\frac{{\sigma }_{t+1|t}}{\sigma }{\eta }_{t+1}\right)\ne \Phi ({\epsilon }_{t+1}),$$

其中  是标准高斯累积分布函数。具体而言，当 ${\sigma }_t$ 高于平均波动率 $\sigma$ 时，观察到任意符号的大预测误差的概率高于预测值，因此这种设定错误将表现为在这些时点上出现非常大或非常小的 PIT 值的概率较高。

这些结果提供了一种简单的方法来检验密度预测是否被正确设定。给定一系列 PIT 值 $\{{\hat{u}}_{t+1}\},t=T_R,\dots ,T-1$，我们可以检验它们是否来自均匀分布。

作为一个实证示例，我们使用关于 S&P500 股票收益率的日度数据，从一个具有标准正态新息的 GARCH(1,1) 模型生成一步向前的样本外密度预测，并计算 PIT 值。图 18.1 显示了截至 2015 年 3 月 31 日前样本最后一年的这些值以及它们的平方。这些值中没有明显的模式。

PIT 值

PIT 值的平方

图 18.1： 从拟合于美国股票市场日度收益率的 GARCH(1,1) 模型得到的 2010 年概率积分变换（PIT）值的时间序列图。上面窗口绘制了 PIT 值，下面窗口显示了一步向前密度预测的 PIT 值的平方。

图 18.2 显示了使用 20 个箱（每个箱应覆盖 5%）的 PIT 值直方图。在 0.5 附近存在轻微的过度代表性，表明 GARCH(1,1) 模型遗漏了许多收益率结果非常小的日子。相反，该模型在收益率分布的尾部似乎表现合理，可能略微倾向于高估大幅正向结果的概率。当然，这里显示的直方图无法揭示极值尾部发生了什么。

为了更正式地检验正确设定的假设，我们可以使用 Kolmogorov–Smirnov 检验或 Cramer–von Mises 检验。对于 Kolmogorov–Smirnov (KS) 检验，我们构造 U 的累积密度函数为 ${\hat{P}}_T(u)=$ $\begin{array}{r}{T}_P^{-1}{\sum }_{t=T_R}^{T-1}1({\hat{u}}_{t+1}<u)\end{array}$，作为 u 的函数。均匀变量的累积密度函数在 [0, 1] 上就是 u，因此该问题的 KS 检验为

$$\mathrm{KS}=\underset{u}{\sup }\left|{\hat{P}}_T(u)-u\right|.\text{\hspace{1em}(18.15)}$$

当预测分布 $p_{Y_t}(y_{t+1})$ 已知时，(18.15)式中KS检验统计量的极限分布为 $\begin{array}{r}{\sup }_{s\in [0,1]}|W(s)-sW(1)|\end{array}$，其中 $W(s)$ 是标准

图 18.2：使用递归估计参数值的 GARCH(1,1) 模型的一步向前概率积分变换 (PIT) 值的直方图。

布朗运动过程。当预测分布的参数被估计时，KS统计量的渐近分布必须考虑参数估计误差，从而导致不同的临界值；参见 Durbin (1973)。Bai (2003) 表明，当密度估计来自一个已知但需估计有限参数集的分布时，Kolmogorov检验统计量的极限分布依赖于真实参数和真实底层分布，而这些当然是未知的。这使得近似极限分布的分位数变得困难。Bai 的分析是样本内的，而 Corradi 和 Swanson (2006c) 则讨论了在将此类检验应用于样本外预测时参数估计误差的影响。

对于 Cramer–von Mises 检验统计量，我们计算

$$\mathrm{CvM}={\int }_0^1{\left[{\hat{P}}_T(\hat{u})-u\right]}^{2}du.\text{\hspace{1em}(18.16)}$$

(18.16)式中的积分可以通过在 $u\in [0,1]$ 上使用细网格进行数值近似。或者，给定 $T_P$ 个密度预测的样本，可以使用表达式

$$\mathrm{CvM}=\sum _{t=T_R}^{T-1}{\left({\hat{p}}_{Y_t}(y_{t+1})-\frac{t-0.5}{T_P}\right)}^2+\frac{1}{12T_P}\text{\hspace{1em}(18.17)}$$

表 18.2：
对带有高斯冲击的 GARCH(1,1) 模型（对美国股票市场日收益率估计）标准化预测误差的独立同分布和零均值性质的检验。

方程，零假设	$\mu$	$\rho$	检验	p 值
${\tilde{u}}_{t+1}=\mu +{ϵ}_{t+1},\mu =0$	0.0350	1	1.3238	0.1858
${\tilde{u}}_{t+1}=\mu +\rho \ast {\tilde{u}}_t^2+{ϵ}_{t+1},\mu =\rho =0$	0.0165	0.0210	1.6934	0.1934
${\tilde{u}}_{t+1}^2=\mu +\rho \ast {\tilde{u}}_t^2+{ϵ}_{t+1},\rho =0$	0.9494	-0.0252	-1.1104	0.2670

CvM 统计量的极限分布是 $\begin{array}{r}{\int }_0^1(W(s)-\end{array}$ $sW(1){)}^{2}ds$，这是布朗桥的积分。对于大小为 5% 的检验，临界值约为 0.461，更大的值将导致拒绝。

Berkowitz (2001) 建议通过标准高斯累积分布函数的逆 ${\Phi }^{-1}$ 对 PIT 值进行变换。定义

$${\tilde{u}}_{t+1}={\Phi }^{-1}\left({\int }_{-\infty }^{y_{t+1}}{\hat{p}}_{Y_t}(v)dv\right)={\Phi }^{-1}({\hat{u}}_{t+1}),\text{\hspace{1em}(18.18)}$$

并注意到 ${\hat{u}}_{t+1}\sim i.i.d.Uniform(0,1)$，由此可得 ${\tilde{u}}_{t+1}\sim \mathrm{ind}N(0,1)$。这为分布预测的正确设定提供了简单的似然比检验。例如，可以对 ${\tilde{u}}_t$ 关于常数项和其滞后值进行一个简单的无约束回归，

$${\tilde{u}}_t=\mu +\rho {\tilde{u}}_{t-1}+{\epsilon }_t,{\epsilon }_t\sim (0,{\sigma }^2),\text{\hspace{1em}(18.19)}$$

并使用传统的似然比检验来考察 ${\tilde{u}}_t$ 的均值和方差是否分别为 0 和 1：

$${\mathrm{LR}}_{0,1}=-2\left(\ell (0,1,\hat{\rho })-\ell (\hat{\mu },\hat{\sigma },\hat{\rho })\right)\sim {\chi }_2^2,\text{\hspace{1em}(18.20)}$$

其中 $\ell (\mu ,\sigma ,\rho )$ 表示 (18.19) 式中的似然函数；${\tilde{u}}_t$ 还应与其滞后值独立，这提示使用检验统计量

$${\mathrm{LR}}_{\rho }=-2\left(\ell (0,1,0)-\ell (\hat{\mu },\hat{\sigma },\hat{\rho })\right)\sim {\chi }_3^2.\text{\hspace{1em}(18.21)}$$

即使密度模型通过了这些检验，分布预测仍可能忽略时变性波动率。这可以通过考察 ${\tilde{u}}_t$ 平方值的持续性来检测：

$${\tilde{u}}_t^2=\sigma +\rho {\tilde{u}}_{t-1}^2+v_t,$$

其中，在密度正确设定的零假设下，${\sigma }^2=1$ 且 $\rho =0$。这些回归检验方便且易于实施，但当然不会改变原始均匀性检验的检验水平或检验功效。

作为这些检验的实证说明，表 18.2 将简单回归检验应用于美国股票日收益率的 GARCH(1,1) 预测。我们使用 2000–2009 年作为初始估计期，2010–2015 年作为预测评估期，并假设日均收益率恒定。${\tilde{u}}_{t+1}$ 的零均值和无自相关检验未被拒绝，平方值 ${\hat{u}}_{t+1}^2$ 也不存在序列依赖的证据。${}^{\text{注}}$

构建一个正确设定的密度预测可能要求过高；毕竟，正确设定条件均值就是一个难题。因此，我们可能会预期基于正确密度预测假设的检验大多会拒绝原假设。然而，像 (18.15) 和 (18.16) 这样的检验以低功效而闻名，除非样本量非常大，否则未能拒绝原假设可能并不能提供太多信息。另一个问题由 Hamill (2001) 以及 Gneiting 和 Raftery (2007) 的例子详细说明，即完全有可能出现对结果信息量不大的预测分布在基于 PIT 的检验中看起来仍属合理的情况。我们通过回到 Gneiting 和 Raftery (2007) 中的例子来说明这一点。

例 18.3.2（比较高斯密度预测，续）。考虑例 18.2.1 中的两个密度预测，$p_{Y1t+1}\sim \mathrm{N}(0,2)$ 和 $p_{Y2t+1|t}\sim \mathrm{N}({\mu }_t,1)$。两个密度预测 $p_{Y1t+1}$ 和 $p_{Y2t+1|t}$ 都产生了均匀分布的概率积分变换，尽管第二个预测显然更优。无条件地，$y_{t+1}\sim \mathrm{N}(0,2)$，因此第一个密度预测 ${\hat{p}}_{Y1t+1}$ 是正确设定的，并导致 $u_{1t+1}={\int }_{-\infty }^{y_{t+1}}{\hat{p}}_{Y1t+1}(y)dy$ 服从均匀分布。然而，在给定 ${\mu }_t$ 的条件下，$y_{t+1}\sim \mathrm{N}(0,1)$，因此 $p_{Y2t+1|t}$ 也是正确设定的，$u_{2t+1}={\int }_{-\infty }^{y_{t+1}}{p}_{Y2t+1|t}(y|{\mu }_t)dy$ 也服从均匀分布。

这些例子表明，基于 PIT 的方法可能无法区分那些正确设定但使用了不同条件变量的密度预测。通过均匀性检验并不意味着条件信息被良好地利用了，甚至可能根本没有被利用。正因如此，Hamill (2001) 认为 PIT 的均匀性性质是好的预测密度的必要而非充分条件。