11.2.3 人工神经网络

11.2.3 人工神经网络

人工神经网络（ANN）模型是经济预测中最常用的筛方法。ANN这一术语并非指$g$的唯一选择，而是指一类模型。它们的共同点在于$g$函数的选取使其输出限制在区间[0, 1]内。

最常见的ANN方法是使用具有单隐含层的前馈人工神经网络。隐含层的概念指的是，我们不一定让$g$直接作为$z_t$的函数，而是让它作为另一个S型函数$k(\cdot )$的函数，而$k(\cdot )$本身又是$z_t$的函数，即$g(z_t)=g(k(z_t))$。前馈特性意味着输出预测不会反馈到$g$中。

通常令$g$函数为逻辑斯蒂形式，即对于$z_t={\gamma }_{0j}+{\sum }_{i=1}^k{\gamma }_{ij}{z}_{it}$

$$g(z_t,{\gamma }_j)=\frac{1}{1+\exp \{-z_t\}}.\text{\hspace{1em}(11.8)}$$

也可以使用(11.8)以外的不同S型函数，例如高斯S型函数

$$g(z_t,{\gamma }_j)=(2\pi {)}^{-1/2}{\int }_{-\infty }^{z_t}\exp (-w^2/2)dw.$$

开关（赫维赛德函数）形式

$$g(z_t,{\gamma }_j)=1(z_t>0).$$

也可以采用非S型函数。例如，Ridgelet人工神经网络通常设定$g(z_t,{\gamma }_j)=\tilde{g}({\tilde{z}}_t)$，其中$\tilde{g}({\tilde{z}}_t)$是所谓的岭函数，${\tilde{z}}_t={\gamma }_{j+1}^{-1}{z}_t$，${\gamma }_{j+1}$是$z_t$的标准差，因此${\tilde{z}}_t$是$z_t$的缩放形式。一个例子是令$g({\tilde{z}}_t)$等于某个光滑密度函数（如正态分布）的第$(k-1)$阶导数，即$g({\tilde{z}}_t)=(d^{k-1}/d{\tilde{u}}^{k-1})e^{-{\tilde{z}}_t^2/2}$。其性质和应用于通胀预测的案例可参见Chen、Racine和Swanson（2001）。

ANN模型的流行在很大程度上源于其非常一般的逼近性质。Hornik、Stinchcombe和White（1989）证明，即使只有一个隐含层并且$g$任意选取，只要包含足够多的项，ANN模型就能够以非常好的精度逼近任何博雷尔可测函数。因此，这些模型具有全局逼近性质，这与例如仅在单一点逼近函数的泰勒展开不同。作为预测模型，当我们对数据中所有点的非线性函数形状一无所知时，我们因此可以预期ANN模型会有良好的表现。

ANN模型逼近未知非线性函数的能力对于函数形式$g$的各种选择均成立，因此该结果并未给出如何选取这些函数的指导。类似地，单层与多层模型之间的选择也没有得到理论的充分指导。同样地，在用于捕捉任何非线性成分的项之外，再添加一个线性模型也是合理的（Kuan和White，1994）。毫不奇怪，实践中使用了这些方法的极大数量变体，而几乎没有什么理论可用于指导其间的选择。White（1996）讨论了与潜在函数预期平滑度相关的选择问题。

ANN模型的应用需要确定(11.4)中$\beta$和${\gamma }_j$系数的值。对于给定的${\gamma }_j$值，回归变为线性的，因此可以应用OLS。困难在于$g$函数内部参数的估计。这显然使估计变得复杂，特别是当包含大量项时。

应用ANN模型时，我们还需要选择$J_T$。给定${\gamma }_j$的值（无论以何种方式估计），模型就是线性回归，第6章中关于模型选择的技术均适用。因此可以使用信息准则和交叉验证方法。

最后，关于术语的一个说明。从上述讨论中应该清楚，尽管有逼近性质的结果，ANN模型不过是一类将预测变量$y_{t+1}$与可用数据$z_t$联系起来的非线性回归模型。然而，许多论文采用了不同的术语。$g$函数被称为挤压函数，因为无论数据的支撑集如何，它们都将其输出限制在[0, 1]范围内。估计被称为学习。一旦参数化，这些函数本身通常被称为节点。