实证研究常见误区(6):为什么很多论文的方法是“流行什么就用什么”?

统计

在阅读实证研究时,经常会发现一种现象。

在某些年份里,很多论文会集中使用同一种方法。比如一段时间里,大量研究使用双重差分(DID)分析政策影响;再过一段时间,又会看到越来越多论文开始使用工具变量、断点回归,或者各种机器学习方法。

这种变化很明显:一种方法一旦在主流期刊中频繁出现,很快就会成为“常见做法”。

表面上看,这似乎说明研究方法在不断进步。但如果仔细观察,就会发现:有些研究使用这些方法,并不是因为研究问题本身需要,而更多是因为这些方法“正在被使用”。

于是出现:方法越来越复杂,但研究本身并没有因此变得更清楚。

01方法选择,往往受到文献环境的影响

研究不可能脱离已有文献。当某种方法在一段时间内被大量使用时,它很容易变成一种默认选择。

例如,在政策评估研究中,双重差分一度成为非常常见的工具;在处理内生性问题时,工具变量也经常被当作标准配置。研究者在设定模型时,往往不是从问题出发,而是先参考已有文献的做法(这种模仿有时候确实非常“有效”)。

这种跟随本身并不奇怪。方法的发展,本来就是在不断被使用和扩展中推进的。

但问题是,当方法变成“惯例”,它就容易脱离原本的使用条件。研究者可能并没有仔细思考:这个方法最初是为了解决什么问题,而自己的研究是否真的面临同样的困难。

当这种思考缺失时,方法就不再是研究设计的一部分,而变成了一种习惯性的选择。

02很多方法,其实是在解决特定问题

计量方法之所以存在,是因为它们在解决某些具体问题时是有效的。

例如,工具变量主要用来处理内生性,双重差分依赖政策变化来构造对照,断点回归则利用制度门槛来进行局部比较。这些方法各有其适用场景,也各自依赖不同的前提条件。

但在实际研究中,经常会看到:研究本身只是一个普通的相关性问题,却被放进了一个需要复杂方法的框架中。

这样做在方法看起来没问题,甚至很“规范”,但研究本身并没有因此变得更有说服力。因为方法并没有真正解决一个存在的困难,而只是被套用了进去。

说得更直接一点,有些论文的问题,其实并不需要这些方法。

03问题可能出在你的研究顺序上

很多时候,问题不在于方法本身,而在于方法和研究问题的顺序被颠倒了。

一个自然的研究过程,通常是先明确研究问题,再判断其中可能存在的识别困难,最后再选择合适的方法。

但实际操作中,更常见的是:先确定要使用某种方法,然后再去寻找可以应用这种方法的数据和问题(可能是为了更容易在其它期刊上发表)。

表面上,这样的研究在技术上是完整的,看起来也很规范;但读者读完之后,往往会有一种不太自然的感觉——这项研究更像是在“使用方法”,而不是在回答问题。

一旦顺序反过来,模型再复杂,也很难真正提高研究的解释力。

04你的方法合不合适,可以用一个简单的方式来判断

如果不想陷入“流行什么用什么”的情况,可以试试换个角度。

与其刻意考虑某个方法能不能用,不如先想清楚一件事:你的研究到底遇到了什么问题。

方法的意义,是因为它在解决某种困难。如果没有内生性问题,就不一定需要工具变量;如果没有清晰的政策变化,也很难真正用好双重差分。很多时候,方法用得越多,并不代表问题解决得越多。

另外一个容易被忽视的地方,是方法背后的前提条件。几乎所有方法都有自己的假设,如果这些前提在研究中说不清楚,那么方法本身再规范,结论也很难站得住。

所以,方法是否合适,不是取决于它是否“常用”,而在于两点:它有没有在解决你的问题,它依赖的前提在你的研究中是否成立。

总结

实证研究中,方法的发展推动了经验分析的进步。但方法本身并不是研究的起点。

如果方法选择只是因为它在文献中流行,那么即使使用再复杂的技术,也未必能够提高研究结论的可信度。只有当研究问题和研究设计被清楚界定后,方法选择往往会变得更加自然。

简单来说:

好的研究,是问题决定方法;而不是方法决定问题。