21.4.3 状态空间方法与不规则数据

21.4.3 不规则数据的状态空间方法

卡尔曼滤波方法非常适合处理不规则观测数据，Aruoba、Diebold 和 Scotti（2009）曾使用该方法估计一个动态因子模型，以高于许多变量观测频率的频率追踪经济状态。他们的方法允许经济数据的观测频率存在差异，以及可观测数据发布模式的不规则性。

假设标量时间序列过程 $v$ 捕捉经济的潜在状态。令 ${\xi }_t$ 度量第 $t$ 天的经济状态，并假设其服从 $\mathrm{AR}(p)$ 过程：

$${\xi }_t=\sum _{i=1}^P{\rho }_i{\xi }_{t-i}+e_t,e_t\sim \mathrm{WN}(0,1).\text{\hspace{1em}(21.20)}$$

这里假设 ${\xi }_t$ 是不可观测的，并被视为潜在变量。它通过以下方程与可观测变量向量 $y_t=(y_{1t},\dots ,y_{nt}{)}^{\prime }$（每个变量都是 ${\xi }_t$ 的线性函数）和 $(k\times 1)$ 维外生变量向量 $w_t=(w_{1t},\dots ,w_{kt}{)}^{\prime }$ 相联系：

$$y_{it}=c_i+{\beta }_i{\xi }_t+\sum _{j=1}^k{\delta }_{ij}{w}_{jt}+\sum _{j=1}^{n_J}{\gamma }_{ij}{y}_{it-j\times D_{it}}+u_{it}.\text{\hspace{1em}(21.21)}$$

其中 $D_{it}$ 是变量 $i$ 在第 $t$ 期每个观测周期的天数。例如，对于按周测量的变量，$D_{it}=7$。$D_{it}$ 的值几乎肯定因不同变量和不同时间而异，但如果我们假设 $D_{it}=D_{jt}=D$，则可以将 (21.21) 写为 $y_t=(y_{1t},\dots ,y_{nt}{)}^{\prime }$ 的向量过程：

$$y_t=c+\beta {\xi }_t+\delta w_t+\sum _{j=1}^{n_J}{\gamma }_j{y}_{t-j\times D}+u_t,\text{\hspace{1em}(21.22)}$$

其中 $c$、$\beta$ 和 $u_t$ 是 $(n\times 1)$ 向量，$\delta$ 是 $(n\times k)$ 维，${\gamma }_j$ 是 $(n\times n)$ 维。该方程是由 (21.20) 和 (21.22) 构成的状态空间模型的量测方程的基础。Aruoba、Diebold 和 Scotti（2009）详细说明了如何使用卡尔曼滤波和平滑器提取潜在状态的估计值。

在实施状态空间模型 (21.20)–(21.22) 时会出现两个复杂性。首先，假设 ${\gamma }_{it}$ 的模型是针对日度频率量身定制的。许多变量并不是以这么高的频率观测的。为了说明这一点，令 ${\tilde{y}}_{it}$ 表示以较低频率观测的第 $i$ 个变量。对于存量变量，若第 $t$ 天观测到 $y_{it}$，则 ${\tilde{y}}_{it}=y_{it}$；否则 ${\tilde{y}}_{it}=\mathrm{NA}$（"不可用"或缺失）。对于流量变量，若第 $t$ 天观测到 $y_{it}$，则 ${\tilde{y}}_{it}={\sum }_{i=0}^{D_{it}-1}{y}_{it-j}$；否则 ${\tilde{y}}_{it}=\mathrm{NA}$。

第二个复杂性恰恰源于 $D_{it}$ 在不同频率测量的变量之间以及跨时间会有所不同，这是由于每月天数的变化或假期的影响所致。这会导致 (21.21) 中误差项的异方差性以及模型中某些矩阵的时变性。令 $z_t^{\prime }=(w_t^{\prime }{y}_{t-1}^{\prime }\dots y_{t-JD}^{\prime }{)}^{\prime }$，而 ${\alpha }_t$ 捕捉潜在状态变量，(21.20) 和 (21.22) 可导出如下形式的状态空间模型：

$$\begin{array}{rl}{y}_t& ={\Psi }_t{\alpha }_t+{\Gamma }_t{z}_t+u_t,\\ {\alpha }_{t+1}& =J{\alpha }_t+R{\eta }_t,\end{array}$$

其中 $t=1,\dots ,T$，$u_t\sim (0,H_t)$，${\eta }_t\sim (0,Q)$。矩阵 ${\Psi }_t$、${\Gamma }_t$ 和 $H_t$ 的时变反映了不同月份和季度之间天数的变化。如果模型针对日度数据设计，由于许多变量并非如此频繁地观测，${\gamma }_t$ 多数情况下将有缺失观测值。这意味着状态空间系统 (21.20)–(21.22) 的相关矩阵变得稀疏，这一特征可被利用以简化估计和更新方程。

具体而言，由于大多数变量在大多数日子里没有被观测，第 $t$ 天的量测方程可以仅基于当天被观测到的那些变量的子集，记为 $y_t^{\ast }=S_t{y}_t$，其中矩阵 $S_t$ 选取第 $t$ 天被观测到的 ${\gamma }_t$ 的元素。卡尔曼滤波的更新可以基于 $y_t^{\ast }=S_t{y}_t$ 的约简子系统：

$$y_t^{\ast }={\Psi }_t^{\ast }{\alpha }_t+{\Gamma }_t^{\ast }{z}_t+u_t^{\ast },u_t^{\ast }\sim \mathrm{N}(0,H_t^{\ast }),$$

其中 ${\Psi }_t^{\ast }=S_t{\Psi }_t$，${\Gamma }_t^{\ast }=S_t{\Gamma }_t$，$u_t^{\ast }=S_t{u}_t$，$H_t^{\ast }=S_t{H}_t{S}_t^{\prime }$。当被建模的序列数量 $n$ 较大时，这可以大大简化模型的更新。

这些方法具有重要的影响力，因为费城联邦储备银行发布了一个总结美国经济状态的日度时间序列。

21.5 结论

近年来计算机运算能力的提升以及对大规模实时数据的访问，带来了令人振奋的进展，使预测者能够以几年前还无法实现的方式，对商业周期状态进行每日估计和预测。这些进展建立在本书所介绍的动态因子模型和卡尔曼滤波等方法之上，仅仅触及了预测技术在广泛领域中未来可能应用的皮毛。

本附录涵盖卡尔曼滤波以及本书中使用的若干概率概念。

A.1 卡尔曼滤波

线性卡尔曼滤波本质上是一种线性预测算法。该方法由卡尔曼于1960年提出，最初用于工程领域（Kalman, 1960），现已广泛应用于众多学科，包括经济学和金融学。对于变量服从正态分布的模型，该滤波可用于写出似然函数，或者更一般地，写出伪似然函数。许多流行的模型都可以改写为适合此框架的形式。本书的阐述参考了Hamilton（1994，第13章）。