7.1.2 ARMA模型

7.1.2 ARMA 模型

顾名思义,自回归模型将 $Y$ 表示为其自身滞后项的函数,而移动平均模型将 $Y$ 表示为对该序列过去冲击(创新项)的平均。具体而言,平稳变量 ${\gamma }_t$ 的 $\mathrm{ARMA}(p,q)$ 设定是一个模型,其中最高阶自回归项为 $p$ 阶,而最高阶移动平均项为 $q$ 阶,因此模型具有以下形式:

$$y_t={\varphi }_1{y}_{t-1}+\cdots +{\varphi }_p{y}_{t-p}+{\epsilon }_t+{\theta }_1{\epsilon }_{t-1}+\cdots +{\theta }_q{\epsilon }_{t-q}.\text{\hspace{1em}(7.4)}$$

等价地,用幂级数记号表示为:

$$\varphi (L)y_t=\theta (L){\epsilon }_t,\text{\hspace{1em}(7.5)}$$

其中滞后多项式具有以下形式:

$$\varphi (L)=1-\sum _{j=1}^P{\varphi }_i{L}^i,\text{\hspace{1em}(7.6)}$$

$$\theta (L)=\sum _{j=0}^q{\theta }_i{L}^i,\text{\hspace{1em}(7.7)}$$

而 $L$ 为滞后算子,即对于正整数 $j$,有 $L^j{y}_t=y_{t-j}$。式 (7.4) 或 (7.5) 中的创新项 ${\epsilon }_t$ 被假定为一个白噪声过程。

例 7.1.3 (AR(1) 模型的预测误差)。 纯 AR 或 MA 模型通过在式 (7.4) 中对 ARMA 参数施加简单限制而得到。最简单且最常见的 ARMA 过程是 ARMA(1,0) 或 $\mathrm{AR}(1)$ 模型,它不包含移动平均项:

$$y_t={\varphi }_1{y}_{t-1}+{\epsilon }_t,\text{\hspace{1em}(7.8)}$$

或者用滞后多项式记号表示为 $(1-{\varphi }_{1}L)y_t={\epsilon }_t$,$\theta (L)=1$。

通过向后迭代,

$$y_t={\varphi }_1\underset{y_{t-1}}{\underbrace{({\varphi }_1{y}_{t-2}+{\epsilon }_{t-1})}}+{\epsilon }_t={\varphi }_1^2{y}_{t-2}+{\epsilon }_t+{\varphi }_1{\epsilon }_{t-1}.$$

进一步向后迭代,对于 $h\ge 1$,我们有

$$\begin{array}{rl}{y}_t& ={\varphi }_1^h{y}_{t-h}+\sum _{s=0}^{h-1}{\varphi }_1^s{\epsilon }_{t-s}\\ & ={\varphi }_1^h{y}_{t-h}+\theta (L){\epsilon }_t,\end{array}\text{\hspace{1em}(7.9)}$$

其中滞后多项式 $\theta (L)$ 的元素为 ${\theta }_i={\varphi }_1^i$。进一步迭代会导致多项式 $\theta (L)$ 的阶数越来越大,因此只要 ${\varphi }_1^k{y}_{t-k}$ 在均方意义下变得"小",$\mathrm{AR}(1)$ 模型就等价于一个 $\mathrm{MA}(\infty )$ 模型。为了理解这对 $\mathrm{AR}(1)$ 模型意味着什么,注意

$$E{\left[y_t-\sum _{s=0}^{h-1}{\varphi }_1^s{\epsilon }_{t-s}\right]}^2=E[{\varphi }_1^h{y}_{t-h}{]}^2\le {\varphi }_1^{2h}{\gamma }_y(0)\to 0\text{\hspace{1em}(7.10)}$$

当 $h\to \infty$ 时成立,只要 ${\varphi }_1^{2h}\to 0$。如果满足 $|{\varphi }_1|<1$,则该条件成立。因此,$\mathrm{AR}(1)$ 过程具有等价的 $\mathrm{MA}(\infty )$ 表示,前提是 ${\varphi }_1^{2h}\to 0$;这就是该过程的平稳性条件。

例 7.1.4 (MA(1) 过程的 AR 表示)。 第二个例子是 ARMA(0,1) 或 MA(1) 模型

$$y_t={\epsilon }_t+{\theta }_1{\epsilon }_{t-1},\text{\hspace{1em}(7.11)}$$

其中此时 $\varphi (L)=1$,$\theta (L)=1+{\theta }_{1}L$。同样地,我们可以从这个 MA(1) 过程构造一个无穷阶 AR 过程。在式 (7.11) 中向后迭代得到

$${\epsilon }_t=\sum _{s=0}^h(-{\theta }_1{)}^s{y}_{t-s}+(-{\theta }_1{)}^{h+1}{\epsilon }_{t-h-1}.\text{\hspace{1em}(7.12)}$$

同样,在均方意义下,${\gamma }_t$ 等价于一个具有系数 ${\varphi }_s=(-{\theta }_1{)}^s$ 的 $\mathrm{AR}(h)$ 过程,前提是 $\bar{E}[(-{\theta }_1{)}^h{\bar{\epsilon }}_{t-h}]$ 随着 $h$ 增大而变小。令 $h\to \infty$,$E[(-{\theta }_1{)}^h{\epsilon }_{t-h}{]}^2=(-{\theta }_1{)}^h{\sigma }^2\to 0$,只要 $|{\theta }_1|<1$。该条件 $|{\theta }_1|<1$ 被称为可逆性。因此,可逆的 MA(1) 过程等价于一个无穷阶 AR 过程。

图 7.1: 不同 ARMA 过程的自相关总体值。

AR(1) 过程的平稳性条件 $|{\varphi }_1|<1$ 可以从多项式 $\varphi (z)=1-{\varphi }_{1}z$ 的幂级数根的角度来理解。该多项式的根为 ${\varphi }_1^{-1}$,因此 $|{\varphi }_1|<1$ 意味着根大于 1。这是 AR(1) 过程平稳性的充要条件。更一般地,$\mathrm{AR}(p)$ 模型的平稳性要求多项式 $\varphi (z)$ 的所有根都落在单位圆之外。$\theta (z)$ 的可逆性条件类似。对于 MA(1) 情形,$|{\theta }_1|<1$ 等价于多项式 $\theta (z)=1+{\theta }_{1}z$ 的根大于 1 的条件。更一般地,对于 $\mathrm{MA}(q)$ 模型,要满足可逆性,$\theta (z)$ 的根必须在单位圆之外。因此,平稳且可逆的 $\mathrm{ARMA}(p,q)$ 过程既可以写成 AR 模型,也可以写成 MA 模型,通常是无穷阶的。用幂级数记号表示,我们有 $y_t=\varphi (L{)}^{-1}\theta (L){\epsilon }_t$ 或 $\theta (L{)}^{-1}\varphi (L)y_t={\epsilon }_t$。

为了对ARMA模型获得直观理解，考虑一些特定模型的自相关是有用的。图7.1绘制了若干模型的总（母）体自相关 $\gamma (j)$，包括 ${\varphi }_1=0.3,0.5,0.9$ 的AR(1)过程、${\theta }_1=0.8$ 的MA(1)过程、$({\varphi }_1,{\theta }_1)=(0.8,0.5)$ 的ARMA(1,1)过程，以及 $({\varphi }_1,{\varphi }_2)=(0.6,0.3)$ 的AR(2)过程。在所有情形中，自相关都随着预测期的延长而逐渐衰减。这是平稳性的一个推论。对于平稳过程，当 $h\to \infty$ 时，预测 $f_{T+h|T}\to E[y_{T+h}]$ 收敛到无条件均值（此处假设为0），因此MSE收敛到无条件方差 $\mathrm{Var}(y_T)$。在考虑ARMA预测的局限性时，这种均值回复性质值得牢记。这些模型永远不会产生距离长期（稳态）均值比当前值更远的期望值。

图7.1所示的自相关模式存在很大差异。由于AR(1)过程的自相关为 ${\varphi }_1^h$，${\varphi }_1$ 越大，这些过程的自相关性越强。AR(2)过程的自相关与 ${\varphi }_1=0.9$ 的AR(1)过程非常相似。相反，MA(1)过程的记忆非常短。与AR(1)过程相比，ARMA(1,1)过程的自相关在一阶自相关上多出一个"凸起"，但高阶自相关呈指数衰减。

为给定时间序列识别预测模型的一种方法，是将其自相关与图7.1所示的已知过程的自相关图进行比较。为了说明其工作原理，考虑四个变量，即通胀率、股票回报率、失业率以及三个月期国库券利率，所有变量均以季度为测度频率。通胀率定义为 $\Delta \log ({\mathrm{CPIAUCSL}}_{t+1}/{\mathrm{CPIAUCSL}}_t)$，其中CPIAUCSL为美国劳工统计局发布的消费者价格指数：城市消费者所有项目，可从圣路易斯联邦储备银行维护的FRED数据库获取。股票回报率以在纽约证券交易所、美国证券交易所和纳斯达克交易所交易的股票的市值加权回报率（含股息）衡量，数据来源于Welch and Goyal (2008)。失业率取自FRED。利率为三个月期国库券利率（二级市场，TB3MS），同样可从FRED数据库获取。我们的数据样本从1947年第一季度至2014年第四季度。

图7.2给出了这四个变量的时间序列图，而图7.3展示了它们自相关的样本估计值及标准误差带。利率序列尤其明显，失业率也较为突出，二者都具有高度持续性，自相关衰减非常缓慢。通胀率具有适度的持续性，一阶自相关估计值约为0.6，随后高阶自相关逐渐衰减。失业率，尤其是利率的低阶自相关超过0.9，且利率序列的自相关在40个季度后仍超过0.2。另一方面，股票回报率完全没有序列相关性，自相关在0附近波动，符号和幅度均无系统性模式。

Wold表示定理指出，MA($\infty$)过程可用于表示任何协方差平稳过程的前两阶矩。在实践中，我们无法估计无限个MA系数，因此转而使用有限阶的ARMA模型。这些模型可视为对这类MA($\infty$)过程的近似。ARMA模型基于线性投影，在MSE损失下为线性过程提供合理的预测。AR模型在预测中特别受欢迎，部分原因在于，对于任何预测期 $h>0$，无论数据生成过程是否平稳，都可以通过将 $Y_{t+h}$ 对 $\{Y_{t-j}{\}}_{j=0}^{\infty }$ 进行最小二乘投影来估计。然而，这并不能保证AR模型的系数随时间保持不变，也不能说明有限阶AR或ARMA近似是合适的。这一点很重要，因为我们永远无法观察到无限的过去。

其次，Wold表示定理确立了任何协方差平稳过程都可以写成一个MA过程，阶数可能为无穷。ARMA模型涵盖或穷尽了捕获协方差平稳过程前两阶矩（均值和协方差）的所有可能线性模型。此外，根据Wold表示定理，我们可以保证 $y_t$ 和 ${\epsilon }_t$ 滞后项的系数是常数。这一结果以及其简洁的吸引力，表明ARMA模型在预测许多经济时间序列方面将具有实际用途。

这并不排除存在某种过去数据的非线性模型能够提供更优预测的可能性。在MSE损失下，最优预测是条件均值，它不一定是过去的线性函数。我们将在第8章更详细地讨论非线性模型，但在此通过一个简单例子说明这一点。

例7.1.5（双线性过程）。考虑Granger and Andersen (1978)研究的双线性过程：

$$y_{t+1}=\beta {\epsilon }_t{y}_{t-1}+{\epsilon }_{t+1},{\epsilon }_{t+1}\sim iid(0,{\sigma }^2).$$

该过程的自相关函数在所有滞后阶数上均为零：

$$\begin{array}{rl}& \\ & E\left[y_{t+1}{y}_t\right]=E\left[(\beta {\epsilon }_t{y}_{t-1}+{\epsilon }_{t+1})(\beta {\epsilon }_{t-1}{y}_{t-2}+{\epsilon }_t)\right]\\ & \\ & =\beta E\left[{\epsilon }_t^2{y}_{t-1}\right]=\beta {\sigma }^{2}E\left[y_{t-1}\right]=0,\end{array}$$

$$E\left[y_{t+1}{y}_{t-1}\right]=E\left[(\beta {\epsilon }_t{y}_{t-1}+{\epsilon }_{t+1})(\beta {\epsilon }_{t-2}{y}_{t-3}+{\epsilon }_{t-1})\right]=0.$$

图 7.3：四个经济变量的季度样本自相关函数。

此处我们利用了 $E\left[{\epsilon }_t{\epsilon }_{t-j}\right]=0$ 对所有 $j\ne 0$ 成立。这意味着该序列无法通过线性预测模型进行预测。然而，假设 $y$ 和 $\epsilon$ 的当期及过去值均在预测者的信息集中，即 $Z_t=\{y_t,{\epsilon }_t,y_{t-1},{\epsilon }_{t-1},...\}$，那么一个非线性模型将能够预测 $y_{t+1}$，因为

$$E\left[y_{t+1}|Z_t\right]=\beta {\epsilon }_t{y}_{t-1},\text{\hspace{1em}(7.13)}$$

该期望值一般不为零。