11.1 预测模型的核估计

11.1 预测模型的核估计

局部线性回归方法可用于在均方误差(MSE)损失下生成预测。这些方法本质上是加权最小二乘估计器，它们为预测变量"接近"于当前预测点观测值的先前数据赋予较大权重。反之，对于预测变量取值差异较大的观测值，赋予的权重较小。其基本思想是：如果真实模型确实是非线性的，那么与当前预测变量值不接近的观测值在估计当前预测变量水平下的条件均值时用途较小。设 $z_t$ 为 $y_{t+1}$ 的预测变量（不含常数项）。我们可以直接估计条件均值，并在时间 T 生成预测值，即

$$f_{T+1|T}(z_T)=\frac{{\sum }_{t=1}^{T-1}{y}_{t+1}K(z_t-z_T)}{{\sum }_{t=1}^{T-1}K(z_t-z_T)},\text{\hspace{1em}(11.1)}$$

其中 $K(z_t-z_T)$ 是多元核函数。例如，高斯核函数定义为

$$K(z_t-z_T)=|B{|}^{-1/2}\exp \{-0.5(z_t-z_T{)}^{\prime }{B}^{-1}(z_t-z_T)\},\text{\hspace{1em}(11.2)}$$

其中 B 是由预测者选择的带宽矩阵。在实践中，通常选择乘积核，即 $K(z)=K_1(z_1)\times \cdots \times K_k(z_k)$，其中 $K_i(\cdot )$ 是

单变量高斯核函数。在 (11.2) 中选择 B 为对角矩阵即可得到乘积核，其中 $K_i(\cdot )$ 为单变量高斯核函数。

该方法可以推广到局部加权线性回归，通过求解下式得到 $\beta =({\beta }_0^{\prime },{\beta }_1^{\prime })$ 的估计：

$$({\hat{\beta }}_0,{\hat{\beta }}_1)=\arg \underset{{\beta }_0,{\beta }_1}{\min }\sum _{t=0}^{T-1}(y_{t+1}-{\beta }_0-{\beta }_1^{\prime }(z_t-z_T){)}^{2}K(z_t-z_T),\text{\hspace{1em}(11.3)}$$

因此在时间 T 的预测值为估计值 ${\hat{\mathbf{\beta }}}_0$。这是因为在 $z_T$ 处 $(z_t-z_T)=0$。为便于计算，令 $y=(y_1,\dots ,y_T{)}^{\prime }$，$\tilde{z}=([1(z_0-z_T)],[1(z_1-z_T)],\dots ,[1(z_{T-1}-z_T)])$，并令 K 为对角矩阵，其第 $(i,i)$ 个元素为 $K(z_i-z_T)$。则局部加权回归系数的估计量为 $\hat{\beta }=({\tilde{z}}^{\prime }K\tilde{z}{)}^{-1}{\tilde{z}}^{\prime }Ky$，预测值为 $\hat{\mathbf{\beta }}$ 的第一个元素，即 ${\hat{\mathbf{\beta }}}_0$。

核回归方法最早由 Nadaraya (1965) 和 Watson (1964) 提出。Stone (1977) 引入了局部线性回归。Pagan 和 Ullah (1999) 提供了出色的介绍与综述。这些方法在广泛的数据假设下都是适用的，允许数据中存在异质性和相依性。参见 Hansen (2008b) 的综合性论述。

要使局部线性回归方法表现良好，我们显然需要有相当数量的数据，其预测变量接近我们希望以之为条件的取值，即接近 $z_T$。与所有基于核的方法一样，必须选择核函数和带宽。对于条件均值估计器 (11.1) 和局部线性回归估计器 (11.3)，较大的带宽选择意味着对更多数据进行平均，从而使 (11.1) 更接近无条件均值，或使 (11.3) 更接近 OLS 回归估计量。较小的带宽则仅对预测变量与 $z_T$（当前预测变量）非常接近的数据进行平均。因此，在对更多数据取平均所导致的较大偏差（如果模型真正为非线性）与对较少数据取平均所导致的较大方差之间存在权衡。最优带宽介于两者之间，取决于优化的目标。最小化 MSE 所得的最优带宽与 $T^{1/5}$ 成正比；参见 Pagan 和 Ullah (1999) 的讨论。在预测背景下的一种自然做法是选择带宽以最小化伪样本外 MSE，通常使用后一部分样本观测值中按一定比例计算。该方法是交叉验证在预测中的等价形式，但据我们所知，其性质尚未得到系统评估。