方差分析第2讲:t 检验、方差分析、回归是一回事吗?

统计

在很多人的学习经历中,t 检验、方差分析和回归分析,往往是分开学的:

  • 先学 t 检验,用来比较两组;
  • 再学方差分析,用来比较多组;
  • 最后才学回归分析,用来处理更复杂的问题。

这种教学安排本身并没有问题,但它很容易在无意中传递出一个信息:这些方法似乎是在解决三类彼此不同的问题。也正因为如此,不少人在真正开始做实证研究时,会产生一种感觉——同样是在比较差异,为什么方法却越学越多,越学越杂?

01我们真的在不停地“换方法”吗?

从表面上看,答案似乎是肯定的。研究对象从两组扩展到多组,再从单一分组扩展到多因素情境,t 检验、ANOVA、回归分析依次登场,方法的名字不断变化。

但如果只盯着“方法清单”,很容易忽略一个更重要的变化:

  • 模型被允许表达的信息正在一步步增加

统计方法之所以发生变化,往往不是因为旧方法失效了,而是因为研究问题本身,已经不再满足于原来的表达方式。

02 t 检验,其实是最简单的回归

在比较两组时,我们习惯说“做一个 t 检验”。

但如果把“是否属于某一组”写成一个 0–1 的虚拟变量,再用这个变量去解释结果变量,其实已经进入了回归框架。在这样的模型中,回归系数对应的是两组均值的差异,t 值用来判断这个差异是否显著。

换一个角度看:

  • t 检验并不是“回归之前的方法”,而是回归框架下的一个特例。

03 方差分析,本质上也是回归的一种形式

理解了 t 检验与回归之间的关系,再回头看方差分析,很多困惑会自然消失。

在 ANOVA 中,我们面对的是多个组别;如果把这些组别拆成一组虚拟变量,并将它们同时放入回归模型中,本质上仍然是在解释不同组之间是否存在系统性差异。

此时,模型不再只关注某一个系数,而是关心这一组系数是否整体上具有解释力,而这正是方差分析中 F 检验所要回答的问题:这些组别变量,是否在整体上“有用”。

从这个角度看:

  • t 检验,关注的是一个系数是否显著
  • 方差分析,关注的是一组系数是否同时显著

04 F 检验并不是 ANOVA 的“专属工具”

很多人在学完方差分析后,会下意识地把 F 检验和 ANOVA 绑定在一起;而在进入回归分析后,却更多关注单个系数的 t 检验。

但实际上,在回归模型中:

  • 模型整体显著性检验,用的仍然是 F
  • 多个变量的联合检验,用的也仍然是 F

F 检验从来没有离开回归分析,它只是从“分组比较”的场景,走进了“建模”的场景。它始终在回答同一个问题:

  • 一组解释变量,是否整体上值得被保留下来。

05真正的分界线,不在方法,而在问题本身

从 t 检验到方差分析,再到回归分析,真正发生变化的,并不是统计思想,而是研究问题的复杂程度。

  • t 检验只允许一个分组变量
  • 方差分析允许多个分组但不考虑其他因素
  • 回归分析则允许同时控制多个协变量

例如,在研究“不同教学方式是否影响学生成绩”时,如果只区分两种教学方式,问题自然会被表述为一次两组比较;如果教学方式增加到三种或更多,分析形式就会转向方差分析;而当研究者希望同时控制学生基础、班级规模等因素时,问题最终会被放进回归框架中来讨论。

在这个例子中,方法之所以不断“升级”,并不是因为研究目的发生了改变,而是问题被允许呈现的复杂程度在逐步增加。并非前一种方法不再适用,而是研究者逐渐意识到,问题本身已经不再是“单一因素”所能解释的了。

写在最后

当你把 t 检验、方差分析和回归分析放在同一条线上理解,许多原本零散的方法会突然变得连贯起来。你不再需要反复纠结“该用哪一种方法”,而是会更自然地思考:

  • 我的问题,允许模型表达多少信息? 

这也是为什么,在实际研究中,看似不同的统计方法,最终往往都会汇合到回归框架之下。