10.2.2 主成分估计（大N情形）

10.2.2 主成分估计（大N情况）

当N较大时，最大似然估计不可行。在这种情况下，可以改用非参数主成分方法。在静态表示式（10.12）的假设下，即$F_t^P$和${\epsilon }_{xt}$在所有超前和滞后阶上都不相关，我们可以将观测变量$X_t$的协方差矩阵表示为公共因子的协方差矩阵${\Sigma }_{FF}=E[(F_t^P-{\bar{F}}^P)(F_t^P-{\bar{F}}^P{)}^{\prime }]$（其中${\bar{F}}^P$是$F_t^P$的时间序列平均值）与特质项的协方差矩阵${\Sigma }_{\epsilon \epsilon }=E[{\epsilon }_t{\epsilon }_t^{\prime }]$的加权和：

$${\Sigma }_{XX}=\Lambda {\Sigma }_{FF}{\Lambda }^{\prime }+{\Sigma }_{\epsilon \epsilon }.\text{\hspace{1em}(10.15)}$$

给定该表达式，估计过程通过最小化一个非线性最小二乘目标函数来进行，其中将$\Lambda$和$F_t^P$（$t=1,\dots ,T$）均视为未知的固定参数：

$$\underset{F_1^P,\dots ,F_T^P,\Lambda }{\min }(NT{)}^{-1}\sum _{t=1}^T(X_t-\Lambda F_t^P{)}^{\prime }(X_t-\Lambda F_t^P),\text{\hspace{1em}(10.16)}$$

约束条件为标准化约束${\Lambda }^{\prime }\Lambda =I_r$。给定因子载荷的估计值$\hat{\Lambda }$，由（10.12）可知，因子的估计量可以从$X_t$对$\hat{\Lambda }$的横截面回归中得到：

$${\hat{F}}_t^P=({\hat{\Lambda }}^{\prime }\hat{\Lambda }{)}^{-1}{\hat{\Lambda }}^{\prime }{X}_t={\hat{\Lambda }}^{\prime }{X}_t.\text{\hspace{1em}(10.17)}$$

将该表达式代回目标函数（10.16）并最小化所得表达式，等价于在约束${\Lambda }^{\prime }\Lambda =I_r$下最大化${\Lambda }^{\prime }{\hat{\Sigma }}_{XX}\Lambda$。将$\hat{\Lambda }$设为${\hat{\Sigma }}_{XX}=T^{-1}{\sum }_{t=1}^T{X}_t{X}_t^{\prime }$的对应于前$r$个特征值的$r$个特征向量，即可得到该问题的解。这进而意味着公共因子（10.17）的形式为${\hat{F}}_t^P={\hat{\Lambda }}^{\prime }{X}_t$，即它们是$X_t$的最大的$r$个主成分。根据构造，这些主成分将是相互正交的。

如果${\epsilon }_{xt}=({\epsilon }_{x1t}\dots {\epsilon }_{xNt}{)}^{\prime }$是独立同分布（i.i.d.）且服从高斯分布，具有同方差$N(0,{\sigma }^2{I}_N)$，则主成分估计量与最大似然估计量相同。另一方面，如果${\epsilon }_{xt}=({\epsilon }_{x1t}\dots {\epsilon }_{xNt}{)}^{\prime }\sim \text{ind }N(0,{\Sigma }_{\epsilon \epsilon })$且协方差矩阵已知，则可以通过求解如下非线性最小二乘问题得到一个更有效的估计量：

$$\underset{F_1^P,\dots ,F_T^P,\Lambda }{\min }{T}^{-1}\sum _{t=1}^T(X_t-\Lambda F_t^P{)}^{\prime }{\Sigma }_{\epsilon \epsilon }^{-1}(X_t-\Lambda F_t^P).\text{\hspace{1em}(10.18)}$$

在实际中${\Sigma }_{\epsilon \epsilon }$是未知的，因此求解该问题是不可行的。Boivin和Ng（2006）提出了可行的加权主成分估计量。Boivin和Ng建议利用第一阶段回归（即$X_t$对通过（未加权）主成分得到的因子的回归）的残差来估计${\Sigma }_{\epsilon \epsilon }$的对角元素。对（10.16）中简单主成分问题的其他改进包括考虑${\epsilon }_{xt}$中的序列相关性；参见Stock和Watson（2005）。

虽然主成分方法不依赖于数据生成过程的任何特定模型，但Tipping和Bishop（1999）等作者认为，该方法可以被赋予高斯潜变量的解释，从而与更具结构性的因子模型相关联。此外，在预测变量被包含在提取主成分的变量中的设定下，可以很容易地证明主成分和因子增广预测是等价的。

更非正式地讲，在少数几个未观测因子解释了预测变量之间的共同变动，而变量中剩余的特质变动仅弱相关的情形下，主成分有望很好地近似"大多数"预测变量中所包含的信息。然后，这些信息可以在预测模型中通过一些选定的预测变量（如自回归滞后项）所提供的变量特有信息加以补充。