幸存者偏差与确认偏误:两套看不见的样本
一九四三年,统计研究小组收到一张图。图上是一架轰炸机的轮廓,机身和机翼布满黑点,每个点是一处弹孔。引擎附近几乎是空白。
军官的结论很直接:弹孔最密的地方最脆弱,装甲应该加在那里。
瓦尔德看了一会儿,说该加固的恰恰是空白处。理由只有一句:能飞回来,才有资格被画上黑点。
这张图后来成了两个概念的门牌。它们常被当成同一件事,其实管的不是同一个环节。
弹孔图的读法
瓦尔德的推理压在一条假设上:高炮向机群喷炮弹,各部位被命中的机会大致相同。
假设成立的话,返航飞机上某处弹孔少,只剩两种解释。要么那里本来就不易被打中,要么被打中的都没能回来。
他选了第二种。引擎中弹的飞机撑不到跑道,那些弹孔留在了田野和海底。
飞机各部位受到损坏的概率应该是均等的,但是引擎罩上的弹孔却比其余部位少。那些失踪的弹孔在哪儿呢?
——瓦尔德,转引自人民日报「人民号」
数据没有说谎,是数据的入口被提前收窄了。 统计对象在进入统计之前,已经被「能否返航」筛过一遍。
这也解释了那张图为什么看起来那么乐观:它只画了赢家。
两种偏差的分工
幸存者偏差管的是样本怎么进来。筛选发生在观察之前,你看到的每一个点,都先通过了某道门。
确认偏误管的是证据怎么使用。样本已经摆在桌上,人只挑支持自己的那几张看。
一九六〇年,沃森做过一个实验。他给被试三个数:2、4、6,说这三个数符合我定的规则,你可以报新的三元组,我只回答符合或不符合。
多数人报 4、6、8,再报 8、10、12,一路等差。他们要的并非找出规则,是看自己的猜想被确认几次。
真正的规则是「任意三个递增的数」。只要报一组 6、4、2,一次就能切开。
沃森的实验说明,确认偏误并不等于固执。被试没有拒绝反证,他们根本没去取。
混用之后的两处误判
两个偏差常被混着用,最常见的后果是拿错药。
「多看反面意见」这条建议,对确认偏误有效,对幸存者偏差几乎无效。缺席者的名单你列不出来,也就不知道该去搜谁。
反过来的误用更隐蔽。有人拿幸存者偏差解释一切成功学,说畅销书只统计了活下来的公司。这个批评成立,但它解释不了另一件事:同一份数据摆在面前,两个人读出的结论相反。
基金业绩是更干净的例子。有统计称,美国大盘混合型基金在一九九五到二〇〇四年增长 178.4%,年均 10.8%。这个数字把清盘消失的基金排除在外;把它们算回去,年均收益就变得平常。
缺席者名单的代价
补全缺席者,有些领域做得到。保险公司的理赔档、交易所的退市名单、医院的死亡登记,都是替缺席者建的档案。
有些领域做不到。创业失败的样本散在注销记录、个人负债和沉默里,没有人系统收集。你能拿到的,多半还是活下来的那批。
于是出现一个更难办的局面:偏差的真实成本不在误判,在于你估不出自己漏了多少。 你能感觉到结论可疑,却说不清可疑到什么程度。
统计上有办法,叫截断回归。先假设没被观测的那部分长什么样,再把参数往回修。假设错了,修正跟着错。
它把「未知」换成了一个可计算的量,代价是要先替未知编一个形状。
这条两分半的短片把弹孔图重新画了一遍,用逆推的方式指出引擎那圈空白意味着什么。
故事本身也被筛选过
关于瓦尔德,最流行的版本是这样的:军官坚持加固机翼,瓦尔德一句反问,全场安静,方案当场推翻。
凤凰网二〇一八年的一篇文章查过这桩旧事。结论是:真实的历史几乎肯定没有这么戏剧化。统计研究小组不负责决策,只负责回答问题。瓦尔德自己的记述里没有这场交锋。
那篇考据收在凤凰网,标题起得像段子,查证的部分是认真的。
同事沃利斯一九八〇年写过一段平淡的回忆,大意是:军方倾向于加固返航飞机上被命中最多的地方,而瓦尔德假定子弹均匀命中,于是开发出估计各部位脆弱程度的方法。
瓦尔德交上去的是一份上百页的技术报告,不是一句反问。
这个反驳指向一个尴尬处:我们讲幸存者偏差的故事时,用的正是最戏剧化的那个版本。一百页被压成一句机智,传播本身就在筛选。
方法本身仍然成立。均匀命中的假设、返航样本这道门、引擎上的空白,逻辑完整。被筛掉的只是情节。
但要清楚筛掉了什么。一句反问好听,好听到让人以为洞察来自灵感。实际上它来自一份把「幸存」写进公式的报告。
两套检查
两个偏差对应两种检查,做法不一样。
对确认偏误,查的是「我有没有找过反面」。这条能自己执行:把判断写下来,补一句「如果它错了,我会先看到什么」,然后去搜那一句。
对幸存者偏差,查的是「这道门是谁设的」。这条自己执行不了,得去问数据来源:样本从哪来,谁被排除,排除的理由写在哪。
前者是态度,后者是程序。态度可以靠自律,程序只能靠追问。
收口
挑一条你最近很确信的判断,写在纸上。
下面补一行:如果它错了,第一个该出现的反证是什么。
然后去搜那一行。搜不到,先别更确信,回头找那道门。
参考
- Confirmation Bias: A Ubiquitous Phenomenon in Many Guises(Review of General Psychology,1998) · 论文
- On the Failure to Eliminate Hypotheses in a Conceptual Task(Quarterly Journal of Experimental Psychology,1960) · 论文
- 高考作文「战机弹痕」怎么写(凤凰网,2018) · 报道
- 简单理解幸存者偏差(人民日报「人民号」,2020) · 科普
- 失去一侧机翼的飞机仍成功返航,靠的是统计学(腾讯新闻,2023) · 评论
- 幸存者偏差(百度百科,概念词条) · 百科
- 弹孔多的地方该加固吗:返航轰炸机的弹孔分布(B 站,ucjdgz) · 视频