11.3 提升回归树

11.3 提升回归树

回归树提供了一种简单的方法，将 $(K\times 1)$ 维的预测变量向量 $z_t=(z_{t1},z_{t2},\dots ,z_{tK}{)}^{\prime }$ 映射到某个单变量结果 $y_{t+1}$。本节我们按照 Hastie、Tibshirani 和 Friedman (2009) 以及 Rossi 和 Timmermann (2015) 的文献，对这类方法作简要介绍。

每棵回归树都将由预测变量所定义的样本空间分割为若干"平坦区域"，使得在每个状态 $S_j$ 内，预测值被建模为一个常数 $c_j$。如果样本被分割为 $J$ 个互不相交的子区域或状态 $S_1,S_2,\dots ,S_J$，则具有 $J$ 个终端节点和参数 ${\theta }_J=\{S_j,c_j{\}}_{j=1}^J$ 的回归树的拟合值 $g(z,{\theta }_J)$ 具有如下形式：

$$g(z,{\theta }_J)=\sum _{j=1}^J{c}_{j}1(z\in S_j),\text{\hspace{1em}(11.12)}$$

其中 $1(z\in S_j)$ 是一个示性变量，当 $z\in S_j$ 时取值为 1，否则为 0。实现 (11.12) 式需要决定使用哪些预测变量来分割样本空间以及采用哪些分割点。例如，若 $J=2$，则预测可基于按某一特定变量取高值或低值对预测变量进行的分割。

给定一组分割点 $S_1,\dots ,S_J$，常数项 $c_j$ 易于估计。在均方误差损失下，估计的常数 ${\hat{c}}_j$ 简单地就是 $y_{t+1}$ 在状态 $S_j$ 内的样本均值：

$${\hat{c}}_j=\frac{1}{{\sum }_{t=1}^{T-1}1(z_t\in S_j)}\sum _{t=1}^{T-1}{y}_{t+1}1(z_t\in S_j).\text{\hspace{1em}(11.13)}$$

分割点的确定则较为困难，尤其是当预测变量列表 $z_{kt},k=1,\dots ,K$ 较大时。通常使用序贯算法来分割样本空间。对于给定的起始模型、预测变量 $z_k$ 和分割点 $s$，算法构造半空间：

$$S_1(k,s)=\{z|z_k\le s\}\text{且}{S}_2(k,s)=\{z|z_k>s\},$$

以最小化残差平方和：

$$\underset{k,s}{\min }\left[\underset{c_1}{\min }\sum _{z_t\in S_1(k,s)}(y_{t+1}-c_1{)}^2+\underset{c_2}{\min }\sum _{z_t\in S_2(k,s)}(y_{t+1}-c_2{)}^2\right].\text{\hspace{1em}(11.14)}$$

给定 $k$ 和 $s$ 的选择，拟合值 ${\hat{c}}_1$ 和 ${\hat{c}}_2$ 为：

$$\begin{array}{l}{\hat{c}}_1=\frac{1}{{\sum }_{t=1}^{T-1}1(z_t\in S_1(k,s))}\sum _{t=1}^{T-1}{y}_{t+1}1(z_t\in S_1(k,s)),\\ {\hat{c}}_2=\frac{1}{{\sum }_{t=1}^{T-1}1(z_t\in S_2(k,s))}\sum _{t=1}^{T-1}{y}_{t+1}1(z_t\in S_2(k,s)).\end{array}\text{\hspace{1em}(11.15)}$$

第一次迭代中使用的最佳分割变量与分割点配对 $(k,s)$，可通过遍历每个预测变量 $k=1,\dots ,K$ 来确定。给定第一步得到的最佳划分，数据可进一步分割为两个附加状态，并对后续的每个划分重复该分割过程。从未用于分割样本空间的预测变量不会影响预测，因此分割变量的选择类似于变量选择。这一过程被称为提升（boosting）。

提升回归树非常灵活，能够捕捉到线性模型可能忽略的数据的局部特征。提升方法可用于从大量可能的变量中识别出哪些变量有助于改善预测表现。其基本思想是：将一系列简单预测模型组合起来，可以得到比任何单一模型都更精确的预测。

提升回归树即为单个回归树之和：

$$f_B(z)=\sum _{b=1}^B{g}_b(z;{\theta }_{J,b}),\text{\hspace{1em}(11.16)}$$

其中 $g_b(z;{\theta }_{J,b})$ 是在第 $b$ 次提升迭代中使用的形如 (11.12) 式的回归树，$B$ 是提升迭代次数。给定前一模型 $f_{B-1}(z)$，后续的提升迭代将搜索参数 ${\theta }_{J,B}=\{S_{j,B},c_{j,B}{\}}_{j=1}^J$，以求解下一棵树，其形式为

$${\hat{\theta }}_{J,B}=\arg \underset{{\theta }_{J,B}}{\min }\sum _{t=1}^{T-1}{\left[y_{t+1}-(f_{B-1}(z_t)+g_B(z_t;{\theta }_{J,B}))\right]}^2.\text{\hspace{1em}(11.17)}$$

对于给定的状态定义（即分割）$S_{j,B},j=1,\dots ,J$，每个状态中的最优常数 $c_{j,B}$ 通过迭代求解如下问题得到：

$${\hat{c}}_{j,B}=\arg \underset{c_{j,B}}{\min }\sum _{z_t\in S_{j,B}}{\left[e_{t+1,B-1}-c_{j,B}\right]}^2,\text{\hspace{1em}(11.18)}$$

其中 $e_{t+1,B-1}=y_{t+1}-f_{B-1}(z_t)$ 是 $B-1$ 次提升迭代后剩余的预测误差。该问题的解是使残差平方均值 ${\sum }_{t=1}^{T-1}{e}_{t+1,B-1}^2$ 下降幅度最大的回归树，而 ${\hat{c}}_{j,B}$ 是第 $j$ 个状态中残差的均值。

提升算法通过添加新树的方式来迭代地重新加权初始拟合中使用的数据,这种方式会增加在现有树集合中建模较差的观测值的权重。然而,由于该方法是顺序执行的,并且后续分割是在越来越少的观测值上进行的,因此增加了拟合数据特殊模式的风险。此外,无法保证顺序分割算法能够导向全局最优解。

在此语境下,收缩意味着模型的每次迭代仅沿学习算法最优步长方向移动一小部分,

$$f_B(z_t)=f_{B-1}(z_t)+\delta \sum _{j=1}^J{c}_{j,B}1(z_t\in S_{j,B}),\text{\hspace{1em}(11.19)}$$

其中 $\delta$ 是一个较小的数,例如 $\delta =0.001$ 。子抽样意味着每棵树都基于从训练数据中随机抽取的子集来拟合。仅在数据的子集上拟合树可以降低过拟合或陷入局部最优的风险。最后,通过最小化平均绝对误差,$\begin{array}{r}{T}^{-1}{\sum }_{t=0}^{T-1}|y_{t+1}-f(z_t)|\end{array}$,算法拟合的是 $y_{t+1}$ 的条件中位数,而不是在 MSE 损失下使用的条件均值。后者通常被发现对数据中的异常值赋予了过大的权重。

由提升回归树生成的预测易于产生。首先使用 $t=1,\dots ,T$ 的数据估计提升回归树。然后,基于模型估计值以及时间 $T$ 处预测变量的值 $z_T$ 对 $y_{T+1}$ 进行预测。

Rossi 和 Timmermann(2015)使用提升回归树来预测美国股权溢价的时间变化。他们发现了强有力的证据表明线性预测模型是错误设定的,而提升回归树能够捕捉到非线性关系。样本外证据表明,相对于一系列基准模型,提升回归树对股票收益和股票市场波动率都能产生更好的样本外预测。Bai 和 Ng(2009)是该方法在扩散指数和宏观数据上的另一个应用。