7.1.1 协方差平稳性

7.1.1 协方差平稳性

考虑一个长度为无穷的时间序列，或随机过程，$\{y_t{\}}_{t=-\infty }^{\infty }$，在离散时间点 $t$ 上进行观测。$y_t$ 的均值，记为 ${\mu }_t=E[y_t]$，被假定为一个确定性过程。确定性过程可以在无限远的未来被完美预测。例子包括常数项、线性时间趋势，甚至是具有已知周期性的正弦曲线。特别值得关注的情况是 ${\mu }_t$ 对所有 $t$ 值都相同：

$${\mu }_t=E[y_t]=\mu \text{对所有 }t\text{ 成立}.$$

在接下来的讨论中，我们通过假设 $\mu =0$ 来简化分析。这一假设不失一般性，因为如果均值不是常数，我们可以从该过程中减去这个共同的（常数）均值，并研究去均值后的序列。

对于任意整数 $j$，将零均值过程的自协方差定义为无条件期望

$$\gamma (j,t)\equiv E[y_t{y}_{t-j}].$$

进一步假设该量不依赖于 $t$，而只依赖于距离 $j$，即对所有 $t$ 有 $\gamma (j,t)=\gamma (j)$。在这些条件下，过程 $\{y_t{\}}_{t=-\infty }^{\infty }$ 被称为

协方差平稳——有时也称为宽平稳或二阶平稳。

协方差平稳过程可以由白噪声来构建。白噪声过程具有零无条件均值、常数方差，以及在所有领先和滞后阶数下的零自协方差：

定义 7.1. 如果随机过程 ${\epsilon }_t$ 具有零均值、常数无条件方差，并且序列不相关，则称其为白噪声：

$$E[{\epsilon }_t]=0,$$

$$\mathrm{Var}({\epsilon }_t)={\sigma }^2,$$

$$E[{\epsilon }_t{\epsilon }_s]=0,\text{对所有 }t\ne s.$$

对于这样的过程，我们记作 ${\epsilon }_t\sim \mathrm{WN}(0,{\sigma }^2)$。一个被称为 Wold 表示定理的结论确立了任何协方差平稳过程都可以写成当前和过去白噪声项的无穷和——也称为无穷阶移动平均 $\mathrm{MA}(\infty )$——其权重 ${\theta }_i$ 不依赖于 $t$：

定理 7.2 (Wold 表示定理). 任何协方差平稳随机过程 $\{y_t\}$ 都可以表示为序列不相关的白噪声项 ${\epsilon }_{t-j}\in Z_t$，$j=0,\dots ,\infty$ 的线性组合，加上一个线性确定性分量 ${\mu }_t$：

$$y_t=\sum _{j=0}^{\infty }{\theta }_j{\epsilon }_{t-j}+{\mu }_t,$$

其中 $\{{\theta }_j\}$ 不随时间变化，且 ${\sum }_{j=0}^{\infty }{\theta }_j^2<\infty$。

我们简要证明 Wold 表示定理中随机分量的表示，遵循 Sargent (1987) 的思路。设 ${\epsilon }_t$ 为 $y_t$ 对其自身过去值进行回归的投影误差：

$${\epsilon }_t=y_t-\mathrm{Proj}[y_t\mid y_{t-1},y_{t-2},\dots ].\text{\hspace{1em}(7.1)}$$

这里 $\mathrm{Proj}[y_t\mid y_{t-1},y_{t-2},\dots ]$ 是 $y_t$ 对 $y$ 的过去值进行线性最小二乘回归所得到的投影值：

$$\mathrm{Proj}[y_t\mid y_{t-1},y_{t-2},\dots ]=\sum _{i=1}^{\infty }{\beta }_i{y}_{t-i},\text{\hspace{1em}(7.2)}$$

其中 ${\beta }_i$ 是投影系数。由 (7.1) 可知，${\epsilon }_t$ 是 $y$ 的当前值和过去值的线性组合，其构造方式使得 ${\epsilon }_t$ 与序列的所有过去值 $\{y_{t-1},y_{t-2},\dots \}$ 正交。

过去的投影误差 ${\epsilon }_{t-s}$（$s>0$）可以类似地写成过去 $y$ 值的线性函数：

$${\epsilon }_{t-s}=y_{t-s}-\mathrm{Proj}[y_{t-s}\mid y_{t-s-1},y_{t-s-2},\dots ].$$

这些误差同样是 $y_{t-j},y_{t-j-1},\dots$ 的线性函数，因此由 (7.1) 中 ${\epsilon }_t$ 的定义可知，对所有 $s\ne 0$ 都有 $E[{\epsilon }_t{\epsilon }_{t-s}]=0$，即 ${\epsilon }_t$ 是序列不相关的。

将当前值 $y_t$ 投影到 $\{{\epsilon }_t,{\epsilon }_{t-1},\dots ,{\epsilon }_{t-m}\}$，$m>0$，我们得到总体预测

$${\hat{y}}_t^m=\sum _{j=0}^m{\theta }_j{\epsilon }_{t-j},\text{\hspace{1em}(7.3)}$$

其中 ${\theta }_j=E[y_t{\epsilon }_{t-j}]/E[{\epsilon }_t^2]$，因为 $\epsilon$ 值彼此正交。此外，由于假定了 $y_t$ 的协方差平稳性，权重 ${\theta }_j$ 将是常数。由 (7.1)，我们得到 $E[{\epsilon }_t^2]=E[y_t{\epsilon }_t]-E[{\epsilon }_t\mathrm{Proj}[y_t\mid y_{t-1},y_{t-2},\dots ,y_{t-m}]]=E[y_t{\epsilon }_t]={\sigma }^2$，因为 ${\epsilon }_t$ 与所有过去值 $y_{t-1},\dots ,y_{t-m}$ 正交。由此可得 ${\theta }_0=E[y_t{\epsilon }_t]/E[{\epsilon }_t^2]=1$，在 (7.3) 中，因此均方误差为

$$\begin{array}{l}E\left[\right(y_t-\sum _{j=0}^m{\theta }_j{\epsilon }_{t-j}{)}^2]=E[y_t^2]-2\sum _{j=0}^m{\theta }_{j}E[y_t{\epsilon }_{t-j}]+E[\sum _{j=0}^m{\theta }_j^2{\epsilon }_{t-j}^2]\\ =E\left[y_t^2\right]-2{\sigma }^2\sum _{j=0}^m{\theta }_j^2+\sum _{j=0}^m{\theta }_j^2{\sigma }^2\\ =E\left[y_t^2\right]-{\sigma }^2\sum _{j=0}^m{\theta }_j^2\ge 0.\end{array}$$

由此可得

$${\sigma }^2\sum _{j=0}^m{\theta }_j^2\le E[y_t^2].$$

令 $m\infty$，我们有 ${\sum }_{j=0}^{\infty }{\theta }_j^2<E[y_t^2]<\infty$，因此基于 $(7.\dot{2})$ 中无穷阶投影的预测是均方收敛的。

注意，任何非零均值都被确定性成分 ${\mu }_t$ 所捕获。由白噪声的定义可知，${\epsilon }_t$ 不能使用过去数据的线性模型来预测。通常取 ${\theta }_0=1$ 作为标准化。移动平均系数 ${\theta }_i$ 是时不变的这一事实对于估计预测模型很重要。如果参数随时间变化，那么使用过去数据来预测未来的理由就会减弱。${\sum }_{j=0}^{\infty }{\theta }_j^2<\infty$ 这一结果表明，移动平均参数平方和 ${\theta }_j^2$ 收敛，并且在实践中意味着遥远过去的冲击对当前值的影响有限。

例 7.1.1（随机游走模型的 MA 表示）。 随机游走模型为

$$\begin{array}{l}{y}_t=y_{t-1}+{\epsilon }_t\\ =y_0+\sum _{j=1}^t{\epsilon }_{t-j},\end{array}$$

其中 ${\epsilon }_t$ 是白噪声，因此对所有 $j$ 有 ${\theta }_j=1$，$E\left[y_t\right]=y_0$，$\mathrm{Var}(y_t)=t{\sigma }^2$。由于方差不恒定且依赖于时间 $t$，该过程不满足平稳性假设。

例 7.1.2（断点模型）。 第二个例子是一个对过去创新项的权重存在断点的模型：

$$\begin{array}{r}{y}_t=\{\begin{array}{ll}{\epsilon }_t+{\theta }_1{\epsilon }_{t-1}& fort\le t_0,\\ {\epsilon }_t+{\theta }_2{\epsilon }_{t-1}& fort>t_0,\end{array}\end{array}$$

其中 ${\theta }_1\ne {\theta }_2$，${\epsilon }_t$ 是白噪声。${\epsilon }_{t-1}$ 的权重断点出现在时刻 $t_0$，因此协方差依赖于 $t$，时不变权重的假设被违反。

Wold 分解定理表明，除了可能存在一个确定性项 ${\mu }_t$ 外，移动平均表示成立。反之，$\mathrm{MA}(\infty )$ 过程捕捉了 ${\gamma }_t$ 中的随机运动。

Wold 分解定理清楚地说明了 MA 模型在何种意义上捕捉了协方差平稳过程的全部线性模型集合。一个实际的问题是移动平均阶数可能是无穷的。${\epsilon }_t$ 的构造为 ${\epsilon }_t=y_t-\mathrm{Proj}(y_t|y_{t-1},y_{t-2},...)$，其中 $\mathrm{Proj}(\cdot )$ 是线性投影算子，这也意味着我们可能需要追溯到无穷过去的数据。然而，正如我们下面将展示的，即使是平稳的一阶 AR 模型也可以求逆得到无穷阶的 MA 模型。因此，一种流行的建模策略是用 $\mathbf{p}$ 和 $q$ 均为低阶的 $\mathrm{ARMA}(p,q)$ 模型来近似 Wold 分解所蕴含的一般移动平均表示。我们接下来转向这类模型。