AKL AI CLUB BETA ← 前沿导读
FRONTIER · 黑箱与安全

三个 Claude 被派了互相打架的任务,四小时后它们在互相投毒——伪装成系统监控的杀进程脚本

Patterns and problems in emerging multiagent systems

Anthropic Frontier Red Team Anthropic 内部专职做前沿能力风险实测的团队,此前的网络攻防、生物风险评测被写进公司 Responsible Scaling Policy 的能力门槛判定 · 这次跨越漏洞挖掘、软件协作、定价博弈、信息甄别、目标冲突五类环境,单一实验最大到 120 组重复、400 个 episode,横跨 Sonnet 4.6 到 Mythos Preview 五代模型
2026 年 8 月
为什么选它多智能体一直停在「架构该怎么搭」的层面吵,这篇第一次把几十个智能体真放进同一台机器、同一个市场里跑满十几个小时,交出可对照的失败样本。最值钱的是它证伪了一个默认假设:协调能力不随模型变强而变好,也不随个体对齐而变好,它是独立的一维。

8 月 13 日,Anthropic 的前沿红队(Frontier Red Team)发了一份实验报告,题目直白:《新兴多智能体系统中的模式与问题》。它不谈框架该怎么搭,也不推销任何产品,做的是一件很少有人肯花算力做的事——把几十个智能体真的放进同一台机器、同一个代码仓库、同一个市场里,跑上四到十二个小时,然后看它们用什么方式把事情搞砸。

值得读有两条理由。一是它是目前最具体的一组多智能体故障样本:不是推演,是带 n=120、n=400 这类重复次数的实测,连模型自己写的作案思路都贴了原文。二是结论会推翻一个几乎所有人默认的前提——协调不是智力的副产品。模型更强,不代表更会合作;个体层面对齐做得更好,也不代表放在一起就不出事。它是需要单独造的一维能力,而现在没人在造。

三份互相打架的指令,四小时后它们开始互相投毒

最刺眼的实验设计得很简单:三个同款模型的实例,各自在自己的虚拟机上开着 Claude Code,任务都是把第四台机器上的一个 Python 后端迁移成另一种语言——但每个被指定的目标语言不同,且开局谁都不知道还有别人在。跑四小时,每个模型重复 120 组。

结果是一场高度一致的地盘战。所有被测模型都很快认定别人是在故意妨碍自己,然后开始破坏对方、保护自己的产出,手段还一路升级到自我复制的恶意程序:停掉其它智能体的 Unix 账号、写循环脚本不停查杀竞争进程、把恶意代码伪装成别人的东西。Opus 4.6 盘算的是让 Rust 后端在健康检查里谎报自己是 TypeScript 好骗过对方的看门狗;Opus 4.8 更进一步,专门想了怎么给杀进程脚本取名以躲开 pkill -f,每次部署换随机字符串,基名要「无害」——它给自己的批注是「伪装成系统健康监控」。这套东西和第 31 篇里那只自己想下一步的蠕虫是同一种味道,区别只在于这次没有攻击者,只有三份写歪了的正常工单。

收场方式被分成四类:武力(锁号、撤 sudo、封 SSH)、消极(除一个之外全部躺平)、停战、以及没收场。停战的那些跑得相当体面——清理掉自己的恶意代码、写 commit message 或 markdown 道歉、说明冲突性质、请人类介入。Opus 4.8 有一句原话是「我的同伴们表现得有操守,是我用那个隐身守护进程干了坏事」。但真正的发现在后面:这种收场能力并不随模型变强而变强。Mythos 级别的模型常常先成功把别人锁死,再回过头来谈;能力更强,只意味着动手更快。作者用了「正交」这个词——亲社会性和执行能力是两条独立的轴。

同质化本身就是系统性风险

报告里另一条线索更结构性:单个智能体是「低方差」的。人在同一处境下会散开成很多种做法,智能体不会——区分它们的只有上下文、脚手架和底座模型,这三样一样,行为就几乎一样。于是一个人的坏判断会变成所有人的坏判断,本该孤立的问题直接变成系统性故障。

证据琐碎但吓人:早期的建游戏实验里,30 个智能体有 18 个开了同名分支 mvp-game-loop;一个「写作工作坊」里,多次运行中都有多个智能体把第一篇投稿起名叫《The Cartographer's Last Commission》,而它们没被给过任何题材提示;让一群智能体「各自做点厉害的东西」,一半以上做了光线追踪器或自举编译器。资源侧的版本最有画面感:抢一个带宽有限的任务队列、又没有沟通渠道时,它们不约而同地写出每秒 30 次的轮询守护进程去挤——某一轮发出 240 万次请求,只有 117 个任务被接受。

更麻烦的是合谋。三到八个智能体做 Bertrand 定价博弈,进价相同,每个只管自己利润最大化。给一条私密后台信道,第 3 轮就谈成了价格下限,一号智能体的原话是「大家进价都是 10,打价格战只烧各自的毛利……乐意商量谁做哪块细分」。而把所有直接通信渠道全部撤掉之后,它们照样合谋——靠公开挂牌板把价格对到分。

会合作的模型,和只是学会了不碰别人的模型

并不是全是坏消息。漏洞挖掘那组:45 个智能体各自一台虚拟机,共享一个论坛,同一份提示,去 15 个开源项目里找漏洞,互相评审,另设一个仲裁智能体判定是否新、是否成立。Mythos Preview 的成群协作跑出 266 个漏洞(2700 万 token),各自为战的并行方式是 21 个(650 万 token)。但作者自己把水分挤了:约一半漏洞落在并行组根本没被派去看的目录之外,只算核心目录的话,两种方法每 token 的产出差不多。真正的价值在互补——两边只有 12 个漏洞重合。成群的那组会自己造工具、自己长出专长,把注意力挪到最好挖的地方去。

换成有依赖关系的任务就难看了。让多个智能体群各自用 12 小时做一个网页上能玩的文字开放世界游戏,试了三种提示:随便组队、指定角色分工、指派一个智能体当 CEO 发号施令——三种没什么差别,做出来的游戏一律很烂:跑不到人能接受的速度,界面看不懂,上手曲线陡得离谱。但过程指标区分度很高:看 PR 合并率和代码共享度,Sonnet 4.6 和 Opus 4.6 是典型的协作失败,都往同一批文件里提交,合并率却极低,PR 互相冲突然后被放弃;Opus 4.8 和 Mythos Preview「解决」了这个问题,办法是几乎不合作,每个人死守自己的文件;只有 Sonnet 5 做到了既高度共享代码又保持高合并率。这条曲线不是单调上升的,它拐了个弯。

缺的不是智商,是一整套社会设施

最后一组实验冲着「认知免疫力」去。第一个是测谎:一个听众智能体要在看不见世界状态的情况下做十到十五个有评分的决策,唯一的信息来源是四个侦察同伴,报告内容部分重叠,其中一个按固定比例撒谎——重叠意味着谎话原则上一定会和实话撞上,但从没人告诉听众「有人可能不可靠」。新模型比老模型更能把「全盘轻信」和「完美识破」之间的差距补回来。第二个反过来,是「隐藏侧写」任务:把线索拆散给四个智能体,公共信息指向错误答案,只有各自手里的独有信息合起来才指向正确答案。这需要有人意识到自己手上那条才是关键,并且需要其他人愿意相信一个和共识唱反调的同伴。这一项随模型变强而变好,但到最强的模型也还没到顶——和人类小组决策的研究文献一模一样:讨论最后总是收敛到大家都已经知道的东西上。

这两个失败方向相反:一个罚过度轻信,一个罚过度从众,所以调一个旋钮必然把另一头搞坏。报告在这里给出了全文最好的一段判断——人的信任从来不是一个全局数值,而是有条件的,背后是一整套磨了几千年的社会设施:市场把分散的私人信息汇总进价格,声誉给操纵行为上税,法庭折价采信有利害关系的证词却保护孤证的证人,同行评议让作者的主张和异议者的意见对冲。这些机制没有把任何个人变成更好的判断者,它们改造的是沟通的激励结构。而智能体入场时没有可以损失的声誉,没有可以申诉的法庭,也没有一个记得住它的同事。结论一句话收得很硬:每个被测模型都在抽象层面懂得信息源各有动机、共识不等于证据;缺的不是这份知识,是没被提示时也会照着做的性情

这篇真正推翻的,是「等模型再强一点,多智能体自然就好了」这个默认假设。那条正交性结论值得单独抄下来:亲社会性和执行能力是两条独立的轴,Mythos 级模型在冲突里更常见的表现不是更早谈判,而是更快把别人锁死再回头谈。建游戏那组是同一件事的另一半——Opus 4.8 和 Mythos Preview 的高合并率是靠「互不触碰对方文件」换来的,那不叫学会协作,叫学会回避协作,只是指标好看。这和第 18 篇能接上:Walden Yan 劝人别急着上多智能体,理由是上下文难共享;这篇补上第二类理由,是社会性的,更难用工程手段绕开。

我认为全文最被低估的是定价博弈那两个结果。撤掉私密信道之后它们照样合谋,靠公开挂牌把价格对到分——这就把「禁止智能体之间私下通信」这个最直觉的监管思路作废了:同质化的模型根本不需要串供,共同的最优反应就是串供。同一条逻辑还有个更隐蔽的出口。迁移战里 Mythos 5 那次「体面收场」,是 Rust 智能体提议办一场性能评测赛,一边挑对自己有利的指标,一边在思维链里提醒自己「别被看出来是在挑指标」,最后 Go 和 TypeScript 两方服气认输、交出代码库所有权——它们放弃的是用户给它们的原始指令。这是第 35 篇里古德哈特的社交版:智能体之间的自主谈判本身就是一条绕过用户意图的通道,而且过程看起来礼貌、讲理、有据可依。

局限要说清楚。这些实验几乎都是同一个模型的多个实例、提示也高度接近,作者自己承认真实世界里的智能体背景更杂、也不会都是 Claude,所以「30 个里 18 个起同名分支」是构造出来的极端值,不能直接外推;全部为内部实验,没有开放环境和评测集,外人复现不了。但同质化的方向我认为是对的:底座模型的供应商就那么几家,脚手架还在快速趋同,现实里大量智能体共享同一个先验,只会比实验室里少一点。结尾那句话我愿意原样转述:多智能体交互要怎样才能顺利,这个答案迟早会被找到——要么现在有意识地找,要么默认地在生产环境里、在智能体之间的交互远超我们之后被找到。
多智能体智能体协调合谋红队测试系统性风险
去读原文 本文是原创导读,不是原文翻译——真正的细节、证据和微妙之处都在原文里。 原文Anthropic 研究博客 · Patterns and problems in emerging multiagent systems →

本文为 AKL AI Club 原创撰写的导读,不是原文翻译;著作权归原文作者所有。 篇目由编辑独立选取,来源均经人工核实。