11.2.3.1 White 的 QuickNet

11.2.3.1 White的QuickNet算法

White（2006）提出了一种便捷的QuickNet算法，为估计ANN模型提供了一种简单方便的方法。该算法由White（2006）提出，旨在处理ANN中的非线性问题，因为这些非线性会极大地增加模型估计的复杂性。该方法不对${\gamma }_j$的值进行估计，而是直接从合理的分布中随机抽取这些系数，从而将问题的估计部分限制为运行线性回归。

该算法利用留一交叉验证均方误差CVMSE(q)，定义为

$$\mathrm{CVMSE}(q)=\frac{1}{T-1}\sum _{t=1}^{T-1}{\hat{\epsilon }}_{qt+1(-t-1)}^2,\text{\hspace{1em}(11.9)}$$

其中

$${\hat{\epsilon }}_{qt+1(-t-1)}=y_{t+1}-{\hat{\beta }}_{0q(-t-1)}^{\prime }{z}_t-\sum _{j=1}^{q}g({\hat{\gamma }}_j^{\prime }{z}_t){\hat{\beta }}_{qj(-t-1)},\text{\hspace{1em}(11.10)}$$

其中估计值${\hat{\beta }}_{0q(-t-1)}$和${\hat{\beta }}_{qj(-t-1)}$是根据剔除观测值$t+1$后的数据拟合得到的。这里$q$表示非线性项的数量，${\hat{\mathbf{\beta }}}_{0q}^{\prime },{\hat{\gamma }}_j^{\prime },{\hat{\mathbf{\beta }}}_{qj}$是下文定义的参数估计值。也可以考虑更一般的交叉验证技术，包括剔除数据块的方法；参见White（2006）。如White（2006）所述，该算法包括以下步骤，其中没有任何步骤涉及非线性优化。

1. 计算初始OLS估计值${\hat{\beta }}_{00}$，方法是将$y_{t+1}$对截距项和$z_t$进行回归。同时计算回归残差${\hat{\epsilon }}_{0t+1}=y_{t+1}-{\hat{\beta }}_{00}^{\prime }{z}_t$以及交叉验证MSE值CVMSE(0)，后者在${\hat{\gamma }}_j=0$（$j=1,\dots ,q$）的假设下由式(11.9)定义。这定义了线性基准。设$q=1$。

2. 随机生成$m$组系数，${\gamma }_j=\{{\gamma }_{0j},{\gamma }_{1j}{\}}_{j=1}^m$。对于每个${\gamma }_j$，将第$q-1$次迭代的残差${\hat{\epsilon }}_{q-1,t+1}$对常数项和$g({\gamma }_j^{\prime }{z}_t)$进行回归。选择使该OLS回归$R^2$最大化的${\gamma }_j$（$j=1,\dots ,m$）作为${\hat{\gamma }}_q$。

3. 计算OLS回归系数${\hat{\mathbf{\beta }}}_{0q},{\hat{\mathbf{\beta }}}_q=({\hat{\mathbf{\beta }}}_{q1},\dots ,{\hat{\mathbf{\beta }}}_{qq}{)}^{\prime }$和残差

$${\hat{\epsilon }}_{qt+1}=y_{t+1}-{\hat{\beta }}_{0q}^{\prime }{z}_t-\sum _{j=1}^{q}g({\hat{\gamma }}_j^{\prime }{z}_t){\hat{\beta }}_{qj},$$

方法是将$y_{t+1}$对$z_t$和$g({\hat{\gamma }}_i^{\prime }{z}_t)$（$j=1,\dots ,q$）进行回归。同时计算$\mathrm{CVMSE}(q)$。将$q$增加至$q+1$，或在$q>\bar{q}$的情况下停止。否则，返回步骤2。

4. 通过交叉验证选择$\hat{q}$，即找到使下式最小化的$q$值：

$$q=\underset{q\in [1,...,\bar{q}]}{\arg }\underset{\mathbf{CVMSE}}{\min }(q)。$$

使用该值$\hat{q}$，令${\hat{\theta }}_{\hat{q}}=({\hat{\beta }}_{0\hat{q}}^{\prime },{\hat{\beta }}_{\hat{q}}^{\prime },{\hat{\gamma }}_1^{\prime },\dots ,{\hat{\gamma }}_{\hat{q}}^{\prime }{)}^{\prime }$。

White建议可以在第四步之后添加一个非线性优化步骤。他还就如何通过适当缩放步骤2中随机抽取系数${\gamma }_j$的分布来避免多重共线性提供了具体建议。具体而言，为避免$g({\gamma }_0+{\gamma }_1^{\prime }{z}_t)$中各项之间的多重共线性，在单变量情况下，${\gamma }_1$应选择为与数据标准差$\mathrm{sd}\left(z_t\right)$同数量级或可能更大，而${\gamma }_0$应大致与$\mathrm{sd}({\gamma }_1{z}_t)$同数量级。White指出，在步骤2中使用$m=500$或$m=1000$个值来估计$\gamma$通常效果良好。

Racine（2001）发现，通过多种宏观经济和金融预测变量，神经网络并不能改善对月度股票收益的线性预测。在用于指导一种根据股票相对T-bill的预测超额收益的正负号在股票和T-bill之间切换的投资策略时，Racine发现递归神经网络预测相比线性模型会产生更低的财富和更高的风险。