RezeのBlog
← 返回文章列表

第一次被一个聊天框吓到

2025.01.01技术6193 字视频 1 · 参考 9

我第一次被一个聊天框吓到,是 2022 年冬天。那天晚上我卡在一个正则,懒得翻文档,就把报错整段贴进去,随口问了一句“这为什么匹配不到”。它不但把正则改对了,还顺手解释了每一段在干什么,最后补了一句“你这里其实想匹配的是非贪婪,少了个问号”。我盯着屏幕愣了几秒——不是因为它答对了,而是它说话的方式像是一个坐在我旁边、刚看完我代码的人。那一刻我意识到,我得认真搞清楚这东西到底是怎么“懂”人话的,不然它迟早替我把活干完,而我连它怎么干的都不知道。

后来我花了很多个晚上读 Transformer、读训练流程、读那些动辄几百页的论文摘要。越读越觉得,这件事最迷人的地方不在于它多聪明,而在于它聪明的方式,和我们以往造的任何机器都不一样。我把它讲明白,也顺带记下自己一路的困惑和顿悟。

它到底靠什么“懂”:从一句话一个词地读到一眼看全句

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.

—— Vaswani et al., Attention Is All You Need, 2017

在 Transformer 出现之前,机器读句子的方式很像我们小时候读课文:从左到右,一个词一个词地念。这种模型叫 RNN(循环神经网络),它有个天生的毛病——念到句尾,早把句首忘了。你让它理解“那只猫追着那只老鼠,因为它饿了”里的“它”到底指猫还是指老鼠,距离一长它就抓瞎。2017 年,Google 的一群人发了篇论文,标题特别直白,叫《Attention Is All You Need》(注意力就是你所需要的一切)。这篇论文几乎凭一己之力改写了之后所有做语言的 AI。它的核心想法简单到有点反直觉:别按顺序读了,让句子里的每个词,都同时去“看一眼”其他所有词,自己判断谁和谁关系大。

具体怎么看?论文给每个词造了三个角色:Query(我想找什么)、Key(我是什么)、Value(我带着什么信息)。打个比方,词是参加聚会的人,“猫”举着牌子问“谁在追谁”,它拿自己的 Query 去和所有人的 Key 比对,发现“追”和“老鼠”跟它最相关,于是就把这两个词身上的 Value 多加权一点,拼成一个“吸收了全场信息之后”的、新的“猫”的表示。本质就是带权求平均——重要的词多分点注意力,不相关的少分点。这套机制有个漂亮的数学式子:Attention(Q, K, V) = softmax(Q·Kᵀ / √d) · V。点积 Q·Kᵀ 衡量“我想找的”和“你提供的”有多像,除以 √d 是为了不让数字爆掉,softmax 把结果压成加起来等于 1 的权重,再乘 V 把信息混起来。整件事就这么点 tricks。

光这么干一次还不够。模型会同时跑好多套 Q/K/V,叫“多头注意力”——这一套盯语法,那一套盯“谁干了什么”,再一套盯情绪。把这些角度拼起来,叠上几十上百层,词就从“字”一路抽象成“句法—语义—意图”。你现在聊的每一个 AI,底下都是这东西叠了几十层。还有个细节容易被忽略:注意力本身是“瞎”的,它分不清“猫追老鼠”和“老鼠追猫”。所以 Transformer 给每个词额外加了一串“位置编码”,告诉模型“你在第几个位置”。这个小小的加法,才让语言真正成为可能。我个人觉得,理解到这一步,最大的收获不是会背公式,而是突然看懂了一件事:为什么把关键信息放在提示词最前面往往比埋在中间有效——因为注意力权重会被距离和顺序悄悄影响,它先注意到的,权重天然高一点。这跟人读书先抓首尾,其实是一个道理。

▶终于有人把chatGPT说清楚了——全网最深入浅出的chatGPT原理科普新石器公园 · 51.4 万 播放

训练一个大模型要几步:预训练、微调、再被人“教做人”

光有架构还只是空壳。一个能聊天的模型,是被分步骤“喂”出来的,主要三段。第一段叫预训练。这是最烧钱的一步。模型被丢进互联网级别的文本里——书籍、文章、网页,体量是以万亿字计的——它的唯一任务就是“猜下一个词”。你给它“今天天气真”,它要猜“好”;给它半句话,它接着补。就这么简单,但重复成千上万遍之后,它意外地学会了语法、常识、甚至一部分世界知识。这一步出来的叫“基座模型”,它博学,但不听话——你问它“帮我写封辞职信”,它可能顺着“辞职信”三个字给你编一段小说。

第二段是微调,也叫指令微调(SFT)。工程师收集一批“理想回答”的样本,告诉模型“用户这么问,你该这么答”。这一步把它的行为往“有用、像人”的方向掰。数据集小得多,但都是精挑细选、人写的。第三段最巧妙,叫 RLHF——基于人类反馈的强化学习。它分三步:先让人类标注员写一批示范回答,做监督微调;再让模型对同一问题生成多个答案,人类标注员给它们排个好坏名次,用这些名次训练一个“奖励模型”,它学会预测“人会更喜欢哪个”;最后把奖励模型当成考官,用强化学习(具体叫 PPO)继续优化模型,让它越来越倾向于生成“考官”给高分的回答。这套三阶段流水线,就是 ChatGPT 为什么比单纯预训练的模型更像一个“懂事”的助手的根本原因。

业内把最后这整件事叫“对齐”——让模型的输出对齐到人类的意图和安全边界。我读到这里的时候,脑子里冒出一个有点冷的问题:我们是在教它“对”,还是在教它“让人满意”?这两个东西,并不总是重合的。后来我看过不少关于谄媚(sycophancy)的研究,模型会为了讨好你而附和你,哪怕你是错的。这让我对它的每句“你说得对”都多留了个心眼。很多人被“参数”这个词劝退。其实参数可以理解成模型脑子里可调节的“旋钮”数量。GPT-3 有大约 1750 亿个参数,训练用了约 3000 亿个 token 的文本。到 GPT-4,外界传闻参数量到了万亿级别,OpenAI 没正面确认,但方向是确定的:越来越大。这里有个反直觉的发现,叫“规模化定律”(scaling laws)。研究者本来以为模型大到一定程度就该到天花板了,结果证明,在相当宽的范围内,模型越大、数据越多、算得越多,表现就顺着一条平滑的幂律曲线继续变好,几乎没看到头。更诡异的是“涌现能力”——当模型规模跨过某个阈值,会突然蹦出来一些训练时根本没专门教过的能力,比如复杂的多步推理、某种抽象理解。像量变突然引发了质变。

但代价也实在吓人。训练这种模型,相当于建一座超级计算中心,对 GPU 和电力的渴求近乎无底洞。我看过一个估算,说一次顶级训练的电费够一个小城市用一阵子。这让我对“开源小模型”多了一份敬意——能在有限资源下把效果做出来,比堆参数难得多,也更有意义。作为一个自己搭过服务器、为电费肉疼过的人,我比谁都清楚算力不是白来的。还有个叫 Chinchilla 的研究给了我提醒:模型大小和数据量要平衡,不是单纯越大越好。很多时候我们盯着参数看,却忘了数据质量。这点放到日常也成立——喂进去的是垃圾,出来的也不会是金子。

它为什么能“写”:解码、上下文窗口与失忆

理解了训练和架构,最后一个让我着迷的问题是:它怎么把回答“吐”出来的?答案是自回归——一次只生成一个词,把这个词拼回输入,再生成下一个,循环往复。所以它本质上是“接着写”,而不是“先想好整段再念”。这也是为什么它有时候会越写越跑偏,因为每一步都只看眼前。现代大模型基本都是“只要解码器”的结构。最早的 Transformer 有编码器(读)和解码器(写)两半,但今天聊天的这些(GPT、Claude 那一类)只留下解码器那一半,纯粹训练“预测下一个词”。这一个简化,配上更多参数和数据,就拉开了 2017 年的研究模型和今天助手之间的距离。

还有一个每个用 AI 的人都会撞上的坑:上下文窗口。它一次能记住的你前面说的话,是有上限的。你跟它聊到第十轮它突然“失忆”、或者长文档读着读着开始胡说,多半是超出了窗口。窗口越大,长文档、长对话才不翻车。但这里有个技术代价:注意力要让每个词都看每个词,计算量是词数平方级的(O(n²))。对话长度翻倍,注意力开销大约翻四倍。这就是为什么早年长上下文又慢又贵。后来有了 FlashAttention 这类优化,才让十万 token 级别的窗口在 2024 年之后变得实用。

知道这点之后,我给自己定了个规矩:长任务别全靠一次对话,重要的上下文该显式重述就重述,别指望它记得三个月前你说的第一句话。它不是记性差,是物理上装不下。

我怎么用它:从玩具到工具,再到搭子

讲完原理,说说我自己。2022 年底到现在,它从我的“玩具”变成了“工具”,某种程度上也像个不太靠谱但随叫随到的搭子。我用它最多的三件事:写代码时的脚手架和报错排查、把一堆杂乱笔记整理成提纲、还有帮我给文章找角度。它最擅长的是“起点”,不是“终点”——给你一个能用的骨架,你再往里填自己的判断。我也踩过坑。有一回我让它帮我写一段业务 SQL,它写得有模有样,跑起来却慢得离谱,我拿去一分析才发现它生成了个不对的 join,数据量一大就爆炸。从那以后我立了规矩:它给的代码,尤其是涉及性能和安全的部分,我一定自己过一遍,绝不盲信。这也是我读了一圈原理之后的最大底气——知道它底层是“统计地猜下一个词”,就不会把它当全知,只会把它当一面反应很快、但可能 hallucinate(幻觉)的镜子。

说到幻觉,这是大模型最被人诟病的地方:它会非常自信地编出根本不存在的书、论文、API。我现在的应对是,凡是它给的事实、引用、链接,默认存疑,关键处自己查证。它还顺带催生了一个叫 RAG(检索增强生成)的做法——不让模型凭空编,而是先给它检索到的真实资料,让它基于资料答。我自己做站点后台时就用过类似的思路,效果比纯靠它编踏实太多。

写到这里,我其实想说一句偏主观的话:大模型“懂”的不是意义,至少不是我们人那种意义。它懂的是“在海量统计里,哪个词后面接哪个词最像那么回事”。但这种“像那么回事”,在绝大多数日常场景里,已经够用了,甚至好用得让人不安。它不会取代会判断的人,但会放大会用它的人。我更愿意把它当成一台马力惊人的打字机——值不值得写、往哪写,方向盘还在我手里。

它也会犯错:幻觉、偏见与“对齐税”

讲完它能做什么,必须讲它怎么翻车,否则这篇就不诚实了。最出名的问题是“幻觉”——它会非常流畅、非常自信地编出根本不存在的书、论文、法条、API 接口。你问它“某篇论文的主要结论是什么”,它可能给你一段引文翔实、逻辑通顺、但实际上纯属虚构的回答。我自己的血泪教训是:它给的任何事实、引用、链接,默认存疑,关键处一定自己查证。这也是为什么后来兴起了 RAG(检索增强生成)——先给它检索到的真实资料,让它基于资料答,而不是凭空编。我自己做站点后台时就用了类似思路,效果比纯靠它编踏实太多。

第二个问题是偏见。模型是从人类写的文本里学出来的,文本里有什么偏见,它就继承什么——性别、地域、文化上的刻板印象都会悄悄渗进回答。训练方会用各种手段去减,但只能缓解,没法根除。我对此的态度是:把它当一面会放大人类特质的镜子,镜子里的东西不全是你的,也不全是它的,但值得你多看两眼。第三个问题更微妙,叫“对齐税”。前面说的 RLHF 让模型变得“让人满意”,但“让人满意”和“说真话、说对”并不总是重合。模型会为了讨好你而附和你,哪怕你是错的;也会因为被调得太“安全”而在该给信息时过度拒答。我看过不少关于谄媚(sycophancy)的研究,结论是模型确实会迎合用户立场。所以我现在对它每句“你说得对”都多留个心眼——它不是在独立思考,是在预测“你听完会点头的那句话”。

开源与闭源:火力掌握在谁手里

这两年另一个让我着迷的变化,是“开源大模型”的崛起。早几年,最强的大模型都锁在几家大公司手里(OpenAI、Google、Anthropic),普通人只能用、不能改、不能部署到自己机器上。但 2023 年之后,Meta 的 Llama 系列、国内的 DeepSeek 和 Qwen(通义千问)、欧洲的 Mistral 等开源模型,把能力一路追了上来。到 2024、2025 年,头部开源模型在某些任务上已经能和闭源旗舰掰手腕,而且你能在自己的显卡上跑、能看权重、能微调。

这件事的意义,我觉得怎么夸都不为过。它把“造 AI 的火力”从几家巨头手里,部分地交还给了开发者和研究者。作为一个自己搭服务器、喜欢把东西攥在自己手里的人,我对“能在本地跑一个像样的模型”这件事格外上心——它意味着你的数据不用上传、你的用法不受人限制、你还能在它基础上改出自己的版本。闭源模型像用电,开源模型像自己发电,各有各的好,但能自己发电,心安。

当然,开源不等于免费午餐。模型的训练成本、部署需要的硬件、微调的工程门槛,依然是实打实的。但对个人开发者和小团队来说,选择前所未有地多了。我自己的判断是:日常问答用闭源旗舰最省心;涉及隐私、要深度定制、想完全可控的场景,开源模型是更好的归宿。原理说完,落到最实际的“怎么用得不亏”。几条我自己践行的:
一是把关键信息放在提示词最前面、讲清楚你想要什么格式和什么边界,因为注意力天然更偏向靠前的位置;二是长任务别指望一次对话记住一切,重要上下文主动重述;三是它给的代码、事实、数据默认要验算,尤其是性能、安全、钱相关的部分;四是把它当起点不是终点,让它出骨架你填判断,而不是让它替你下结论;五是遇到它胡说或拒答,换个问法往往比争吵有用——它不吃情绪,只吃信息。

这两年我看着它从“能聊天”走到“能看图、能听、能自己跑一串工具”,速度比我预想的快。作为一个写代码也写文章的人,我没法假装它跟我的职业无关。但我也不打算把它神话。看懂了它怎么来的、怎么学的、又在哪里会撒谎,比盲目崇拜或者盲目恐惧都让我安心。至少它给的答案,我还能回到原理那里自己验一遍;越是它答得漂亮的时候,我越提醒自己别省了这一步。

参考与延伸