观点进阶经济思想与学派
发表偏差
没结论的研究发不出来,公开文献其实被幸存者偏差污染。
核心讲解
作者指出一个常被忽略的事实:学术期刊倾向于发表"有显著发现"的论文,那些做了实验却没看到任何结果的研究,绝大多数躺在抽屉里,永远不会变成铅字。于是我们能读到的文献,是经过选择的幸存样本。假设一百个研究者各自去检验一个其实无效的策略,只要靠随机噪声,总有几个会得到"统计上显著"的结果,而正是这几篇被发表。外人读到这几篇,便以为策略真有效。这就是发表偏差,它和新闻只报大事、书封只挑好评同源:沉默的失败被掩埋,露出来的成功被放大。作者据此提醒,面对"研究证明某某有效"时,先追问一句:还有多少同样做了、却没发现效果、因而无人知晓的研究?那些看不见的阴性结果,才是判断证据分量时必须补上的那块砝码。
费曼版:用大白话再讲一遍
十个学生各自抛硬币猜连续正面的规律。九个人什么都没发现,默默合上本子;第十个人碰巧连出一串正面,兴奋地写成报告交上去。老师只看到这第十份报告,便以为真有什么规律。可其实那只是十个人里碰巧走运的那一个。
要点
- 期刊偏好发表阳性、显著的结果,阴性和无结论的研究留在抽屉里。
- 公开文献是被选择过的幸存样本,不代表全部研究的真实面貌。
- 大量无效假设中,总有几个靠噪声"显著",而正是它们被发表。
- 读研究时要追问:背后还有多少没露面的阴性结果。
常见误区
- 以为发表出来的研究,就代表这个问题的全部证据。
- 把"多篇论文都显示有效"当成铁证,忽略它们可能来自同一批噪声。
- 以为研究没发表是因为质量差,而不是因为没得出好看的结果。
编者注
- 观点"文献被发表偏差污染"是作者对科学生态的批评,各方看法见「多方视角」。
多方视角
作者的看法
文献库充斥着靠偶然显著性才得以发表的假阳性,阴性实验作为沉默证据被掩埋,严重扭曲了我们对真相的认知。
不同的看法
- 注册报告制度和元分析中的漏斗图校正,正在系统性地纠正发表偏差,学术界的自净机制仍在持续发挥作用。
支持作者的理由
- 心理学和医学的大规模复现项目显示,超过一半的著名经典论文无法被重复出来,印证了发表偏差的普遍性。
留给你的问题
当你看到"多项研究证明某投资策略有效"时,你会要求看到哪些证据,才能排除这只是发表偏差的产物?