降维分析系列第1讲:主成分分析和因子分析,到底有什么区别?

统计

所谓“降维”,简单说,就是用更少的变量,概括原本更多变量所包含的信息。

很多同学第一次接触降维时都会问:

主成分分析和因子分析,到底区别在哪里?

软件里放在一起,步骤类似,输出表格也差不多。有些论文甚至写成“主成分(因子)分析”。

但这两个方法,解决的问题并不一样。

01从一个真实研究场景说起

假设你在做企业竞争力研究。

你收集了 12 个指标:营业收入、净利润、资产规模、员工数量、研发投入、专利数量、市场份额、销售增长率、现金流、资本结构、广告支出、固定资产规模。

这些变量高度相关。规模大的企业往往收入高、利润高、员工多;研发投入多的企业通常专利也多。

问题来了:变量太多,该怎么办?

这时你可能会产生两种完全不同的研究动机。

02如果你的目标是“压缩信息”

第一种情况,你只是觉得变量太多。

共线性严重,模型不稳定。你希望把 12 个指标压缩成 1–2 个综合指标,用于后续回归或排序。

在这种思路下,你关心的是:

如何在尽量不丢失信息的情况下,用更少的变量保留更多波动?

这正是主成分分析的出发点。

它寻找的是数据中“方差最大的方向”。本质上是一种数学变换,把原始变量重新组合成若干新的线性组合。

它解释的是“总体方差”。它生成的是“成分”。这些成分并不天然具有现实含义,只是统计上的压缩结果。

如果你的目标只是减少维度,主成分分析通常已经足够。

03如果你的目标是“解释结构”

第二种情况,你并不满足于压缩变量。

你在思考:这些指标之所以相关,是不是因为企业竞争力本身可以分成几个维度?比如规模实力、技术能力、市场能力。

这时你关心的不是压缩,而是解释。变量之间的相关性,是否来自某些共同的潜在因素?

这正是因子分析的逻辑。它假设观测变量受到少数几个公因子的影响。相关性不是巧合,而是因为背后存在结构。

它不是单纯的数学组合,而是一个模型假设。它解释的是“潜在结构”。它生成的是“因子”。这些因子被赋予理论意义。

04真正的差别在哪里?

把两者并排看,就会发现差异很清晰:

主成分分析关注方差,因子分析关注结构。

主成分是一种数学压缩,因子分析是一种潜变量模型。

主成分输出的是成分,因子分析输出的是因子。

表面操作类似,研究逻辑却完全不同。

05一个实用判断

在实际研究中,可以先问自己一句话:

我是在合成指标,还是在解释结构?

如果只是为了减少变量数量、缓解共线性,主成分分析更合适。如果希望揭示变量背后的潜在维度,因子分析才是更合理的选择。

很多方法上的误用,不是因为不会操作,而是因为没有想清楚研究目标。

06一个更具体的例子:航空乘客满意度数据

《SPSS数据分析案例教程》书中(“第19章 降维分析”,P307),有一个真实案例,使用的是 Kaggle 上“航空乘客满意度”数据。样本量超过 10 万条,包含多项关于服务体验的评价变量。

例19-1:数据集“航空乘客满意度”包含了一系列关于乘客满意度的变量,以及一些关于航班的特征信息。变量包括:客户ID服务满意度评分(SR)、性别、顾客类型、年龄、旅行类型、舱位、飞行距离以及各种服务和航班相关的评价性变量。通过对数据进行因子分析,揭示影响乘客满意度的关键因素,并理解这些因素之间的关系,以帮助航空公司改进服务,提高乘客满意度。

该数据集一共有16个变量,包括:机上 WiFi 服务、在线预订便利性、座位舒适度、餐饮服务、机上娱乐、值机服务、清洁度,以及起飞和到达延误时间等。

上述指标之间存在明显相关性。座位舒适度评分高的航班,机上服务和清洁度评价往往也不低;延误时间长的航班,整体体验通常更差。

那么,当我们面对这 16 个变量,到底该用哪种方法?

1. 如果只是想“合成一个指标”(主成分分析)

有时候,我们并不打算分析满意度结构,只是觉得变量太多,希望构造一个综合指标,用于后续回归或排序分析。

例如,把多个服务评分压缩成一个“整体服务指数”,看看它与客户忠诚度、复购意愿之间的关系。

在这种情况下,核心任务是压缩信息。只要能够在尽量不丢失总体波动的前提下减少变量数量,主成分分析已经足够。

它构造的是若干线性组合,目标是解释更多方差,而不是解释结构。

2. 如果想理解“满意度是如何构成的”(因子分析)

但如果研究问题换成:

  • 乘客满意度究竟由哪些维度构成?

例如,是否可以区分为“服务体验”“航班便利性”“舒适度体验”等几个方面?这些维度之间有没有清晰的结构?

这时研究重点就不再是压缩变量,而是理解相关性的来源。

因子分析的逻辑正是在这里。它假设变量之间的相关性来自少数几个潜在因子,并试图识别这些因子。在这种目标下,选择因子分析更为合理。

教程中对这个数据集进行因子分析后,最终得到5个公因子(如下图),作者将这5个公因子命名为:在飞行过程中的舒适程度、服务质量因子、方便性因子、准时性因子、网络服务因子。

图片

小结

降维方法本身并不复杂,真正重要的是研究目的。

你是想把变量变少,还是想解释结构?问题不同,方法也不同。


附:到底是“主成分分析”,还是“主成份分析”?

很多学生会问这个问题。

曾经教过中文课的 Henry 老师,给出一个很简单的回答:

规范写法是“主成分分析”。

“成分”在现代汉语里指构成整体的部分,比如化学成分、语法成分、营养成分。“成份”属于旧写法,在规范出版物中已经基本不用。

统计学里的 “principal component”,强调的是构成整体变异结构的“组成部分”,因此翻译为“主成分”。