降维分析系列第7讲:为什么要旋转?旋转到底改变了什么?

统计

本讲是“降维分析系列”的最后一篇,我们用一个经常被忽略的问题来收尾:

为什么因子分析要旋转?旋转到底改变了什么?

在做因子分析时,软件通常都会有一个步骤叫做 “旋转(Rotation)”。

例如在 SPSS 中,可以选择 Varimax、Quartimax 或 Oblimin 等不同的旋转方式。很多教材往往只是简单说一句:“旋转之后结构会更清晰。”

但不少初学者看到这里都会产生两个疑问:

既然已经提取出了因子,为什么还要再旋转一次?旋转到底改变了什么?

要理解这一点,需要先弄清楚因子分析输出结果中另一个经常让人困惑的词:载荷(loading)。

01载荷到底是什么意思

在因子分析的输出结果中,每个变量都会对应一组数字,这些数字就是变量在不同因子上的载荷。简单来说,载荷反映的是某个变量与某个因子的关联程度。载荷越高,说明这个变量与该因子的关系越强。

例如,在学生成绩的数据中,如果数学、物理、化学在同一个因子上的载荷都比较高,就说明这些科目的变化在统计上比较一致,它们可能反映的是某种相似的能力结构。反过来说,如果某个变量在某个因子上的载荷接近于零,就说明这个变量与该因子的关系较弱。

从直观上看,载荷有点类似于一种“相关程度”。只不过这里相关的对象不是两个变量,而是变量与潜在因子之间的关系。

02为什么不旋转的结果往往不好解释

如果不进行旋转,得到的载荷矩阵往往比较难解释。

在很多数据中,一个变量可能在多个因子上都有较高的载荷。例如某个变量在因子1上的载荷是0.52,在因子2上是0.48。从统计角度看,这样的结果完全没有问题,但从解释角度看就会比较尴尬:这个变量到底更属于哪一个因子?

在这种情况下,每个因子看起来都包含很多变量,但又没有特别突出的特征,整体结构会显得比较模糊。虽然数学上的因子提取已经完成,但研究者仍然很难给这些因子赋予清晰的含义。

这时就需要通过旋转来调整因子的结构。

03旋转到底改变了什么

所谓“旋转”,并不是重新估计模型,也不是改变原始数据,而是对因子的方向进行一次重新调整。可以把它理解为换一个角度来看同一组数据。

一个比较形象的比喻是:假设桌子上摆着一堆点,我们给它画两条坐标轴。如果把坐标轴稍微转动一下,点本身的位置不会改变,但它们在坐标轴上的投影会发生变化。旋转所做的事情,其实就是类似这样的调整。

因此,旋转不会改变数据中的信息,也不会改变因子分析能够解释的总方差大小。它改变的只是因子的方向,从而让变量在不同因子上的分布更加集中。

04旋转之后为什么更容易解释

经过旋转之后,载荷矩阵通常会呈现出一种更加清晰的结构:某些变量在某一个因子上的载荷明显较高,而在其他因子上的载荷则较低。

例如,在学生成绩的数据中,旋转之后可能会出现这样的情况:数学、物理、化学在因子1上的载荷较高,而语文、历史、政治在因子2上的载荷较高。这样一来,研究者就很容易把两个因子分别理解为“理科能力”和“文科能力”。

需要注意的是,这种结构并不是旋转“创造”出来的,而是原本就存在于数据中的模式,只是在未旋转的情况下不够明显。旋转所做的,只是让这种结构更加容易被看出来。

05常见的旋转方法

在软件中,最常见的旋转方式是 Varimax。它属于一种正交旋转,也就是说旋转之后各个因子仍然保持相互独立。在很多应用研究中,这种方法已经足够使用,因为结构清晰,也比较容易解释。

另一类方法是斜交旋转,例如 Oblimin。斜交旋转允许因子之间存在相关关系。在一些研究领域,例如心理能力或社会态度分析中,不同维度往往并不是完全独立的,因此有时会采用这种方法。

不过在多数应用型研究中,研究者通常会先使用 Varimax 旋转,因为得到的结构更清晰,也更容易解释。

06旋转只是为了让结果“更好看”吗

有时候会听到一种说法:旋转只是为了让结果“更好看”。这种说法其实并不准确。

旋转并不会增加新的信息,也不会提高模型的解释能力。它只是改变了观察数据结构的方式,让变量与因子的关系更加集中,从而更容易进行解释。

换句话说,旋转改变的是表达方式,而不是数据本身。

07一个例子:学生成绩数据中的因子旋转

为了更直观地理解“旋转”的作用,我们仍然用前两讲的例子:一组学生成绩的数据。数据包含8门课程成绩:政治(poli)、语文(chi)、数学(math)、外语(fore)、物理(phy)、化学(che)、地理(geo)和历史(his)。

本例的因子提取方法为 主轴因式分解(Principal Axis Factoring)。

以下是因子分析的一般顺序,即“确定数量 → 看结构 → 再解释旋转”:

(1)碎石图(确定因子数量)

除了根据特征值大于 1 的标准确定因子数量之外,还可以通过 碎石图(Scree Plot) 来辅助判断。

碎石图将各个因子的 特征值 按顺序画成折线图。从图中可以看到,第1个因子的特征值明显较高,而从第2个因子开始曲线明显变缓,之后基本呈现平缓下降的趋势。

通常认为,在曲线由陡变缓的位置之前的因子具有主要解释作用。因此在本例中,保留 2 个因子 是比较合理的选择。

图片

(2)总方差解释表

首先对这8个变量进行因子分析。根据特征值大于1的标准,最终提取出 2 个因子。SPSS 输出的“总方差解释”表如图所示。

图片

从结果可以看到:

  • 第1个因子的特征值为 4.278,解释了 53.47% 的总方差
  • 第2个因子的特征值为 1.119,解释了 13.99% 的总方差

两个因子累计可以解释 67.46% 的总体变异。

这说明,用两个因子来概括这8门课程的成绩结构,在统计上是比较合理的。

(3)未旋转的因子矩阵

提取因子之后,SPSS 会给出一个 因子矩阵,即各变量在不同因子上的载荷。

图片

从未旋转的结果可以看到:

  • 数学、物理、化学在 因子1 上的载荷较高
  • 语文、历史、政治等科目在 因子2 上也有一定载荷

但整体结构仍然比较模糊。例如:

  • 数学在因子1上的载荷为 0.803,但在因子2上仍然有 -0.362
  • 物理在因子1上的载荷为 0.770,在因子2上也有一定负载

也就是说,很多变量在两个因子上都有一定载荷。这种情况下,很难直接判断每个因子究竟代表什么含义。

这正是未旋转因子矩阵常见的问题:

虽然已经提取出了因子,但变量与因子的关系仍然比较分散,因此解释起来并不直观。

(4)旋转后的因子矩阵

接下来,对因子进行 Varimax 旋转。旋转后的结果如下图所示。

图片

旋转之后,变量在不同因子上的载荷分布变得更加集中:

  • 数学、物理、化学在因子1上的载荷明显较高
  • 语文、历史、政治在因子2上的载荷相对较高
  • 外语、地理在两个因子上都有一定载荷

这样一来,两个因子的含义就变得更加清晰了。研究者很容易将:

  • 因子1解释为“理科能力”
  • 因子2解释为“文科能力”

这正是旋转的主要作用:

通过调整因子的方向,使变量在不同因子上的载荷更加集中,从而使结构更容易解释。

需要注意的是,旋转并没有改变数据本身,也没有增加新的信息。它只是改变了因子的方向,使原本已经存在的数据结构更加清晰地呈现出来。

(5)因子图(从图形上理解“旋转”)

SPSS 还给出了 因子图,如下图所示。

图片

图中每一个点代表一个变量,它在横轴(因子1)和纵轴(因子2)上的位置,正好对应变量在两个因子上的载荷。

从图中可以看到:

  • 数学、物理、化学集中在图的右侧
  • 语文、历史、政治则更多分布在上方区域

这种分布结构说明,这些变量在两个因子上的关系已经比较清晰。

SPSS 还给出了 因子转换矩阵,如下图所示。

图片

这个矩阵实际上描述的就是旋转时坐标轴变化的角度。可以把它理解为:
在保持数据不变的情况下,对因子的坐标轴进行了重新调整。

因此:

  • 数据没有改变
  • 因子数量没有改变
  • 总解释方差也没有改变

改变的只是因子的方向。

小结

到这里,“降维分析系列”的几个核心问题也基本讨论完了:

主成分分析与因子分析的区别、因子数量如何确定,以及为什么需要旋转。

看起来步骤很多,但背后的核心问题其实始终只有一个:

我们是在用统计方法压缩信息,还是在解释变量之间的结构关系。