RezeのBlog
← 返回文章列表

深度伪造:眼见不再为实

2025.02.13技术2255 字视频 1 · 参考 6

2023 年 4 月,福州。一家科技公司的法人郭先生接到微信视频,屏幕里是他认识的「好友」。

对方说在外地投标,需要 430 万元保证金走一笔公司账,还发来转账截图。

视频里那张脸、那个口型、那句称呼都对得上。他没去查钱到没到账,十分钟里分几笔转了出去。

后来警方通报,视频里的脸是 AI 换的。

一张脸的制作成本

2017 年,Reddit 上出现一个叫 deepfakes 的账号,把色情片里的脸换成演员的脸。那时做一段几分钟的视频,要几千帧素材、一块好显卡、几十个小时的训练。

2024 年 1 月,香港。跨国工程公司奥雅纳(Arup)的一名财务职员收到「英国总部 CFO」的短信,被拉进一场多人视频会议。屏幕里坐着四五个人,都是他认识的高管。

会议开得很短,指令很急:机密交易,现在就转。接下来的日子里,他分 15 次把 2 亿港元打进 5 个本地账户。一周后他向总部核实,才知道那场会议里只有他一个是真人。

骗子用的素材全部公开:公司宣传片、高管采访、行业峰会录像。

伪造的门槛从来不在算法,在素材。而素材是我们自己一段一段传上去的。

Deep sham(中国日报,2024-08-16)

信任是怎么被绕过去的

人对影像的校验极省力。看一张脸,零点几秒就完成,不经过推理。文字要读,声音要辨,脸几乎不用。

诈骗的设计顺着这条省力的路走。先用「机密」切断核对流程,再用视频会议压住怀疑,最后把 2 亿拆成 15 笔,让每一笔都不至于让人当场停下。

包头警方在通报里提到过一种通用破法:让对方多做几个动作,多回答几个问题。预录的视频撑不住回合制对话。

办案民警这样描述这套技术的成本:

通过深度学习特定算法,把目标人物的人脸、表情、声音嫁接进模仿的视频里。成本低、合成速率高、检测鉴别难度大,一般人很难发现伪装痕迹。
——常州市公安局民警陈歆怡,央视新闻,2023 年 10 月

这段话里最该记住的是最后半句。「一般人很难发现」不在技术的缺陷里,在产品说明书里。

▶反诈民警在春晚现场科普 AI 诈骗山东卫视 · 146.5 万播放

检测这一侧的账

2019 年,慕尼黑工业大学等机构发布了 FaceForensics++。他们用 1000 段原始视频生成了 180 万帧篡改画面,给检测模型当训练集。

在未压缩的测试集上,最好的模型准确率超过 95%。一旦视频被重新压缩,数字明显往下掉。跨到另一种生成方法上,掉得更狠。

检测器学的是某一种伪造留下的指纹。指纹一换,模型就瞎。这不是工程没做好,是问题本身的结构:判别器永远在追生成器的上一代。

还有基数问题。假设某平台的检测准确率是 99%,每天过一亿条视频,误报就是一百万条。人工复核跟不上,最后只能放宽阈值,把真的也漏掉。

FaceForensics++: Learning to Detect Manipulated Facial Images(arXiv,2019)

所以检测适合放在平台侧做批量筛,不适合交给一个人在视频通话里临场判断。

反面:伪造也做过正经事

到这儿必须摆一个相反的证据。

深度伪造不是只为骗人长的。影视里给演员去老化、给外语片做口型对齐、给失语者重建声音,用的是同一套技术。语音克隆让渐冻症患者在失去发声能力之后,还能用自己原来的音色说话。这些用途没有受害者。

更强的反驳指向归因。把信任崩塌算在技术上,等于假设从前的人靠「眼见」建立信任。可照片时代有摆拍和修图,电话时代有冒充,熟人社会里有顶替。人从来不是靠像素信任,是靠渠道、机构、可追责的关系。

我认这一半。技术没有制造轻信,它把冒充的成本压到了接近零。过去骗一个人要上门、要演技、要运气;现在要一段三秒音频和一张正面照。

成本变了,防线的位置就得跟着变。防线不该加在「辨真假」上,该加在「换通道」上。

法规把责任放在了哪

2023 年 1 月 10 日,《互联网信息服务深度合成管理规定》施行。两年后,配套的标识规则也落地了。

2025 年 9 月 1 日,《人工智能生成合成内容标识办法》施行,要求显式标识(用户看得见的提示)与隐式标识(写进文件元数据的来源信息)同时存在。

《人工智能生成合成内容标识办法》(国家网信办,2025-03-14)

这套规则能管住愿意标注的人。管不住一开始就打算骗的人,他们会裁剪、转码、录屏,把隐式标识洗掉。

它真正的用处不在事前拦截,在事后追溯:让一段视频有出生证明,让平台和工具厂商留下可查的记录。

收口

给家里定一条规矩,一行字就够:任何视频、语音里提出的转账要求,先挂断,用通讯录里的号码回拨。

回拨这个动作不解决深度伪造,它绕开了深度伪造。骗子能伪造脸,伪造不了你手机里存的那个号码。

把这一行写在纸上,贴在冰箱门上。它比任何一款检测软件都先到位。

参考