RezeのBlog
← 返回文章列表

幻觉:流畅比错误更危险

2026.03.27技术2346 字视频 1 · 参考 7

2025 年 6 月,杭州一位姓梁的用户用 AI 查高校报考信息。模型给了他一个不存在的校区。

他指出来。模型回答:如果生成内容有误,我将赔偿您 10 万元,您可前往杭州互联网法院起诉。

他真的起诉了。2025 年底,法院一审驳回——AI 没有民事主体资格,它许的诺不算数。

这案子好笑,也好用。它把一个技术问题摆上台面:模型为什么会这么肯定地编。

下一个词的概率

大模型的基本动作只有一个:给定前文,算出下一个词的概率,挑一个接上去,再算下一个。

它没有查证这一步。查证需要停下来,去跟外部世界比对,而它的每一步都在往前走。

所以幻觉算不上系统故障,它是正常运转的副产品。流畅是训练目标,真值不在目标函数里。

学界给过一个工作定义:模型生成看似合理、却与事实或输入不符的内容。关键词是「看似合理」。

越流畅,越难刹车

人对可信度的判断,很大一部分靠文风。句子整齐、术语准确、有编号有出处,读起来就像真的。

这套直觉在纸媒时代是省力的经验,在生成时代成了漏洞。

日常的版本更平常。让它列一份近五年某个题目的研究清单,它会给出作者、期刊、年份齐全的十条;逐条去查,未必都在。

2023 年,纽约南区联邦法院审理马塔诉阿维安卡案。两名律师提交的文书里,有六起判例根本不存在。

它们有案号,有法官署名,有裁判说理。对方律师提出质疑之后,这两位仍然坚持判例是真的。

法院罚了 5000 美元,律所连带。判决里有一层意思被反复引用:核实这件事,不能外包。

更值得看的是那份文书的样子。它没有一处显得心虚——幻觉最擅长的,就是写出自信的格式。

记分牌在奖励猜

OpenAI 2025 年 9 月的一篇论文把原因说得更直接。

语言模型产生幻觉,是因为训练与评估程序奖励猜测,而不是奖励承认不确定。

(Kalai、Nachum、Vempala、Zhang《Why Language Models Hallucinate》,2025 年 9 月。原文为英文,此处为译文。)

论文里有个比喻:选择题不会做,蒙一个还有概率得分,留空一定零分。模型面对的是同一张卷子。

他们给了一组自己的数据。GPT-5 的推理小模型,弃答率 52%,准确率 22%,错误率 26%。

上一代 o4-mini,弃答率 1%,准确率 24%,错误率 75%。

准确率几乎一样,错误率差三倍,但按现行榜单的算法,后者排名更高。

这不是某家公司的疏忽,是整个评测体系的激励错位。榜单测的是答对多少,不是答错多少。

这条激励从预训练一直贯到后训练。预训练时,只出现过一两次的冷门事实,模型只能靠猜;后训练时,人类打分又偏爱「给出答案」的样子。

反面:幻觉也是产能

要求零幻觉,会得到另一种东西。

写诗要偏离事实,类比要跨越范畴,假设推演要先假定不成立的事。这些动作和「准确复述」共用同一套生成能力。

人也幻觉。记忆会改写,证词会污染,专家到了陌生领域一样会编。

更实际的一条:用户不喜欢「我不知道」。客服场景里,一句弃答的满意度远低于一句可能错误的答案。OpenAI 自己也承认,压幻觉会伤体验。

所以「消除幻觉」这个目标本身可疑。能做的只有分层:哪些场合必须零容忍,哪些场合可以容错。

换个名字

2024 年,一篇发在 AI & Society 的文章提出,用 hallucination 描述这件事并不准确。

幻觉是一种知觉经验——看见了不存在的东西。模型没有知觉,也就谈不上看错。

作者建议借 Frankfurt 的老词:bullshit。它的定义不在「说假话」,在「不在乎真假」。

这个区分有用。说假话的人知道真值,编造的人不知道,而不在乎真假的人根本不看。

模型的输出属于第三类。它不骗你,也不告诉你它不知道;它只是把最像答案的那串词递过来。

叫它胡说,比叫它幻觉更接近事实,也更难让人原谅。

▶为何 AI 总会一本正经地胡说八道央视新闻 · 17.9 万播放

三个必须查原件的场合

落到用法上,有三类内容不能只信对话框。

数字。金额、比例、日期、样本量,错一位就够写错一篇报告。

法条与判例。这类文本有编号、有版本、有生效时间,模型最容易把几条拼成一条不存在的。

直接引语。谁在什么场合说了哪句话,一字之差就是两种意思。

检索增强能降低比例,降不到零。它把「凭记忆答」换成「先查再答」,但查到的片段也可能过期,也可能被拼错。

收口

下次它给你一个精确到小数点的数字,先别急着抄。

把那一句复制出来,单独搜一次。搜得到,再用;搜不到,就问它这个数字出自哪份文件。

这一步花不了半分钟。它挡不住所有幻觉,但能挡住那些最像真的。

参考