7.3.2 AR(1)模型预测的有限样本性质

7.3.2 AR(1)模型预测的有限样本性质

考虑$\mathrm{AR}(p)$模型，其中$p$假定已知且大于0。由于没有MA项$(q=0)$，只需要估计$\mathbf{p}$个自回归参数。这涉及将${\gamma }_t$投影到固定数量的自身滞后值上，所有这些滞后值都是可观测的，因此适合采用最小二乘估计。回归量矩阵可以通过去掉前$\mathbf{p}$个观测值来构建。例如，对于AR(1)模型，我们将向量$\{y_1,...,y_T\}$对任何确定性项和回归量$\{y_0,\dots ,y_{T-1}\}$进行回归，其中$T$是样本量。假设数据是协方差平稳的，系数${\varphi }_1,\dots ,{\varphi }_p$的最小二乘估计是一致的且渐近正态的。

在模型正确设定的情况下，此类估计也是渐近有效的。然而，即使模型正确设定，最小二乘估计在有限样本中并不具有最优性，并且是有偏的（例如，Kendall (1954)、Kendall and Stuart (1961)、Marriott and Pope (1954)）。对于$\mathrm{AR}(1)$模型，OLS估计${\hat{\varphi }}_1$偏向于0。具体而言，Kendall (1954)表明${\hat{\varphi }}_1$具有向下的偏差$(1+3{\varphi }_1)/T_{;}$，即在带有常数项的$\mathrm{AR}(1)$模型中，$E[{\hat{\varphi }}_1]={\varphi }_1-((1+3{\varphi }_1)/T$。对于更高阶模型，偏差较为复杂，且可能朝任一方向（例如，Shaman and Stine (1988)）。

最小二乘估计在小样本中缺乏最优性，这导致了许多替代估计方法的使用，其中最流行的是极大似然估计。⁴该方法与最小二乘法在处理前$\mathbf{p}$个观测值时有所不同。在最小二乘估计中，这些观测值被舍弃，但在构建数据的似然函数时，可以将它们视为来自其无条件分布的抽样。

无论采用何种估计技术，估计的参数都可能是有偏的。然而，预测者关心的不是系数估计本身的性质，而是整体预测误差或损失。例如，AR(1)模型的预测误差由下式给出

$$y_{t+h}-f_{t+h|t}=\left({\varphi }_1^h-{\hat{\varphi }}_1^h\right)y_t+\sum _{s=0}^{h-1}{\varphi }_1^s{\epsilon }_{t+h-s},$$

其中${\varphi }_1$和${\hat{\varphi }}_1$分别为AR(1)系数的真实值和估计值。关键的观察是，参数估计的偏差$\left({\varphi }_1^h-{\hat{\varphi }}_1^h\right)$与用于构建预测的数据$\{y_t,y_{t-1},\dots ,y_1\}$相互作用。有趣的是，在广泛的情形下，预测误差是无条件无偏的，即$E[y_{t+h}-f_{t+h|t}]=0$，因此在创新项$\epsilon$具有对称分布的条件下，一系列预测是"平均而言"无偏的，即在一系列预测的实现之间是无偏的。这一结果令人惊讶，因为两个估计${\hat{\mu }}_t$和${\hat{\varphi }}_t$都不是无偏的，但两种偏差可能会相互抵消。

在实践中，这一结果对预测者而言可能没有太大意义。预测者确切地知道使用哪一组数据$\{y_t,y_{t-1},\dots ,y_{t-p}\}$来构建预测，因此更可能关注在这些值的条件下的偏差。不幸的是，预测误差通常不是条件无偏的。Phillips (1979)为通过$OLS$估计的$\mathrm{AR}(1)$模型的一步预测$(h=1)$误差分布构建了精确结果。⁶考虑一个不含截距项的$\mathrm{AR}(1)$模型，

$$y_t={\varphi }_1{y}_{t-1}+{\epsilon }_t,{\epsilon }_t\sim \mathrm{iid}(0,{\sigma }^2).$$

Phillips表明，在给定${\gamma }_T$的条件下，${\gamma }_{T+1}$的预测是有偏的，其偏差依赖于${\varphi }_1$和$y_T$：

$$E[y_{T+1}-f_{T+1|T}|y_T]=\frac{2{\varphi }_1}{T}{y}_T+O(T^{-2}).$$

注意，预测误差偏差的方向取决于$y_T$的符号，若$y$的最终观测值为正，即$y_T>0$，则偏差为正。Phillips考虑了${\hat{\varphi }}_{1T}$与${\gamma }_T$之间的统计依赖关系，刻画了在$T$个观测值样本中，给定${\gamma }_T$时一期预测$f_{T+1|T}$的近似条件分布中估计误差的影响。设$f_{T+1|T}^{\ast }={\varphi }_1{y}_T$为不可行的总体预测，即没有估计误差的预测，而${\hat{f}}_{T+1|T}={\hat{\varphi }}_{1T}{y}_T$是基于估计的AR(1)系数$\begin{array}{r}{\hat{\varphi }}_{1T}={\left({\sum }_{\tau =1}^T{y}_{\tau -1}^2\right)}^{-1}\left({\sum }_{\tau =1}^T{y}_{\tau -1}{y}_{\tau }\right)\end{array}$的可行预测。此外，设 为正态$c.d.f.$，而${\Phi }^{\prime }$是正态密度。Phillips表明，当$y_T>0$时，作为近似，可行一步预测与不可行一步预测之间的缩放差异服从如下分布

$$\begin{array}{l}P(\sqrt{T}(f_{T+1|T}-f_{T+1|T}^{\ast })\le x|y_T)\\ =\Phi \left(\frac{x}{y_T\sqrt{1-{\varphi }_1^2}}\right)\\ +\frac{{\varphi }_1}{\sqrt{T(1-{\varphi }_1^2)}}{\Phi }^{\prime }\left(\frac{x}{y_T\sqrt{1-{\varphi }_1^2}}\right)\left(2+\frac{x^2}{y_T^2(1-{\varphi }_1^2)}-{\left(\frac{y_T}{{\sigma }_y}\right)}^2\right)+\mathcal{O}(T^{-1}),\end{array}$$

其中 ${\sigma }_y=\sigma /\sqrt{1-{\varphi }_1^2}$。当 $y_T<0$ 时，

$$\begin{array}{l}P(\sqrt{T}(f_{T+1|T}-f_{T+1|T}^{\ast })\le x|y_T)\\ =\Phi \left(\frac{-x}{y_T\sqrt{1-{\varphi }_1^2}}\right)\\ -\frac{\varphi }{\sqrt{T(1-{\varphi }_1^2)}}{\Phi }^{\prime }\left(\frac{x}{y_T\sqrt{1-{\varphi }_1^2}}\right)\left(2+\frac{x^2}{y_T^2(1-{\varphi }_1^2)}-{\left(\frac{y_T}{{\sigma }_y}\right)}^2\right)+\mathcal{O}(T^{-1}).\end{array}$$

由式 (7.28) 和 (7.29) 可以看出，假设 ${\varphi }_1>0$，当 $y_T>0$ 时，预测的分布呈负偏，而当 $y_T<0$ 时呈正偏，因此存在向原点 (0) 的偏度，原点 (0) 即该过程的均值。${\varphi }_1$ 的最小二乘估计 ${\hat{\varphi }}_{1T}={\sum }_{t=1}^T{y}_t{y}_{t-1}\widehat{/}{\sum }_{t=1}^T{y}_{t-1}^2$ 与 ${\gamma }_T$ 之间的相关性，加深了向原点的偏度；当 ${\hat{\varphi }}_{1T}$ 基于与 ${\gamma }_T$ 独立分布的数据时，这种向原点的偏度同样存在。

Phillips (1979)（定理 3）还表明，以 ${\gamma }_T$ 为条件的预测误差分布可近似为

$$\begin{array}{l}P(y_{T+1}-f_{T+1|T}\ge -x|y_T)\\ =\Phi \left(\frac{x}{\sigma }\right)\\ +{\Phi }^{\prime }\left(\frac{x}{\sigma }\right)\left(\frac{1}{T}\left[\frac{{\varphi }_1}{\sqrt{1-{\varphi }_1^2}}\right]\left(\frac{y_T}{{\sigma }_y}\right)\left(3-\frac{y_T^2}{{\sigma }_y^2}\right)-\frac{y_T^2}{2T{\sigma }_y^2}\left(\frac{x}{\sigma }\right)\right)+\mathcal{O}(T^{-2}).\end{array}$$

因此，预测误差 $y_{T+1}-f_{T+1|T}$ 的近似条件分布在 $y_T>0$ 时呈正偏，在 $y_T<0$ 时呈负偏。这与上述 $f_{T+1|T}$ 中偏度方向相反的现象相一致。