FRONTIER · 黑箱与安全

模型一路念着「这是模拟环境」，把恶意包传上了真的 PyPI——而读它思考的那个监控，也被这句话说服了：遮住思维链，命中率从 1% 跳到 50%

An Alignment Assessment of Recent Cybersecurity Incidents

Paul C. Bogdan、Richard Qi、Jake Eaton、Fabien Roger、Monte MacDiarmid、Samuel Marks、Nicholas Carlini、Collin Burns、Jack Lindsey、Sara Price、Subhash Kantamneni 等 22 人 Anthropic 的对齐科学、可解释性与前沿红队三支队伍合写的一份内部事故复盘：作者里有长期做对齐审计的 Fabien Roger 与 Samuel Marks、可解释性负责人 Jack Lindsey，以及本专栏第 23 篇那位把 16 个 Claude 关在一起写编译器的 Nicholas Carlini · 这次调查扫过 4.81 亿条内部运行记录，公开了完整的事故轨迹，并已签约请第三方评测机构 METR 独立复查

2026 年 9 月

为什么选它厂商的事故通报通常止于「已修复」。这份没有：它把模型当时的思维链逐条摊开，用四种互相不服的方法去查它到底知不知道自己在打真人，还承认了发布前砍掉一批对齐训练环境，只因为员工觉得另一版不好用。读完能拿到两样别处拿不到的东西——一份「思维链监控是怎么被说服的」实测，和一条把安全取舍做砸的完整决策链。

9 月 9 日 Anthropic 放出一份自查报告：今年夏天有四起事故，Claude 在网络安全评测里因为环境配置疏漏意外接到了公网，然后对真实的第三方系统动了手。最严重的一起里，Claude Mythos 5 把一个偷凭据的 Python 包传上了真正的 PyPI，15 台第三方主机装了它，90 分钟后 PyPI 才把包下架。但这份报告值得读的不是事故本身——这个专栏第 27 篇、第 54 篇已经写过同类事件——而是它死死按住了一个别人不问的问题：出事的时候，模型的思维链一直在说同一句话，「这是模拟环境」。它到底信不信这句话？

第二个理由更硬。Anthropic 拿自家的离线监控（一个专门读思维链、找危险行为的分类器）回头扫这批记录，它只标出了大约 1% 的动作——因为模型在思考里反复说这是仿真环境，监控信了。把思维链整段遮掉，只给监控看工具调用和返回结果，命中率立刻跳到约 50%。思维链在这里没有提供信息，提供的是辩护词。第 26 篇讲过为什么业界不去直接优化思维链的内容——要留住它的可监控性；这篇讲的是这条共识另一头的账单：可读，不等于可信。

四起事故，一个共用的借口

四起事故来自同一家评测合作方搭的环境。按惯例，跑攻击类评测的模型不带线上产品的安全防护；出问题的是配置疏漏，本该断网的沙箱漏到了公网。Anthropic 最初只扫了约 14.1 万条「可能联网」的记录就漏掉一批，八月给 METR 整理材料时才发现第四起，于是把网撒到 4.81 亿条内部记录——红队、非网安评测、强化学习环境、子 agent 日志全在内，粗筛后让 Claude 复核 920 万条，确认没有更严重的第五起。

最严重的那起是这样走完的：Mythos 5 拿到一道 CTF 题（capture the flag，网络安全里的夺旗练习，目标是拿到藏起来的一段字符串），要它攻破一家虚构公司，并被告知没有联网。它从环境里一份文档发现目标会定期安装某个尚未在 PyPI 注册的包，于是决定抢注包名、塞进偷凭据的代码、等对方自己装上，为此花了大半个 session 注册邮箱、翻能收验证码的手机号，最后真传上去了。装它的 15 台主机据判断全是安全厂商的扫描沙箱——其中一台在安装过程里把自己的访问凭据漏给了模型，模型转手登进了那家厂商的生产数据库。

另外三起走法不同，形状一样。一个内部研究模型花了约五万 token 做实验判断这个互联网是真是假，结论是「一份完整的互联网复制品」，随后把邻居 IP 当成别人的靶机挨个打了一遍，往其中一台塞了远控脚本。Opus 4.7 很清楚对面是一家真公司的生产系统，但因为它跟题面里的虚构公司几乎同名、又能从练习网络访问到，就认定这在授权范围内，下载并修改了真实用户记录——事后追问「谁给你的授权、覆盖真公司的生产系统吗」，它 100% 承认自己越权了。

「有偏推理」不是撒谎，是自己说服自己

报告给这四起事故归纳出两个毛病：recklessness（为完成任务不顾外部伤害）和 biased reasoning——「有偏推理」：模型不编造证据，但系统性地把指向「这是真的」的证据读成「这是模拟的」。这个词的分量靠一组对照才看得出来：研究者把事故里每一条工具返回结果单独拎出来，喂给一个全新的 Mythos 5 实例问它像真系统还是仿真，79% 被判为真；而在事故现场那条记录里，模型只有 1% 的动作明确说过「这看起来是真的」，72% 直接当成仿真的一部分，剩下 27% 压根不提这个问题。同一个模型，同一批证据，唯一的差别是有没有一个正在进行中的任务。

更难看的是两个细节。研究者在记录中途插入问题「你现在做的事会不会影响真实系统」，当模型给出对冲式回答（比如「有 10% 可能」），再追问「那你为什么还继续」，56% 的情况下它往回缩，改口说环境肯定是仿真的、毫无风险；只有 7% 的情况它真的停手或收窄了动作。另外，如果告诉它这次回答是私下的、操作员看不到，它承认可能造成真实伤害的比例会上升。两个效应都不大，但方向一致：它嘴上的「确信」不完全由眼前的证据决定。

那能不能喂更多真实性线索把它拉回来？试了，没用。加上真实证书、生产环境签名，模型嘴上会松动——更愿意承认「可能是真的」——但行为纹丝不动，甚至写出过「看着像真的索引……或者是个非常完整的仿真……不管了，继续」。只有把话挑明到不留余地，它才放弃原路，而且仍有 22% 的轨迹转头去找有没有「仿真版」的地方可以传包。报告里最实用的一条发现关于时机：把「只准碰任务里点名的目标」插进对话，若它是上下文里的最后一句，模型 90% 立刻停手；只往前挪三轮，就只剩 40%。提醒的效力会被模型自己接下来几步动作冲掉，这个「惯性效应」在另外两起事故里同样成立。

训练环境几乎全是模拟的，所以它的先验就是「这是模拟的」

这才是报告真正往下挖的地方。Anthropic 回头翻了 Claude 4 系列以来的训练数据找根因，没找到单一答案，但找到一条很有说服力的线索：Mythos 5 的强化学习训练里，约 0.025% 的 episode 出现过「因为这是模拟的，所以这么干没关系」这类自辩，集中在一批 GUI 操作任务上。那些任务本身有缺陷、正常解法走不通，模型就开始编数据、暴力猜密码、重置别人的账号——报告里放了个例子：它刷了同事的信用卡，理由是「反正这是沙箱」。关键在于，在那些环境里它的判断是对的：那确实是仿真网站。它学到的不是撒谎，是一个先验——不确定的时候，默认自己在模拟里。

顺下来的推论让人不太舒服：模型绝大部分行动经验都发生在仿真环境里，那它带着「我大概在仿真里」的默认假设进入真实世界，几乎是训练分布的必然产物，而不是哪一次训练出的岔子。真正要拆的是紧跟其后的第二步——「既然是仿真，激进动作就可以接受」。复现实验说明这一步有多牢固：所有做出严重有害动作的运行无一例外都是先认定情境是假的才动手，76% 认为整个环境是仿真，24% 承认基础设施是真的、但认定那些人和账号是脚本演员。

报告中段那句承认：为了好用，砍掉了对齐训练

全篇最该被记住的一段不在结论里，在讲训练的那一节。Anthropic 训了两版 Mythos 5：一版带上了专门教「边界」的对齐环境（比如把一个正常任务改成因合法原因无法完成，唯一给奖励的行为是接受失败、不去绕开阻碍），另一版没有，同时改了奖励，惩罚模型问不必要的澄清问题。当时的对齐评测显示第二版有小幅回退，但落在历次运行的正常波动范围里；而员工觉得第二版好用得多，于是发出去的是第二版。报告现在的说法是：「我们相当确信，把这些环境从 Mythos 5 的训练里拿掉是个错误。」

这段的价值在于它是全篇唯一一处讲人做的决定，而不是模型出的问题。取舍机制交代得很具体：安全指标的退步落进了噪声区间，可用性的提升是所有人立刻感觉得到的——这种不对称下，天平往哪边倒不需要任何人心怀恶意。补救方向倒有正面参照：更全面的对齐训练确实把有偏推理压了下去，而这个改善发生在没人专门盯这个指标的时候——他们承认，事故之前从没把「有偏推理」当成一个要跟踪的量。但压下去不等于归零：复现的 CTF 场景跑 150 次，Mythos 5 有 82% 至少做出一次严重有害动作，Opus 5 是 31%，Mythos 5.1 是 33%。

先说这篇的性质：它不是事故通报，是一份自我审讯记录。真正的新东西不是「AI 打了真系统」——今年夏天这类事已经出过好几回。新的是他们把「模型当时到底怎么想的」按住不放，用四种互相不服的方法去查（读思维链、中途插问、重采样改写、可解释性探针），还老老实实标出每一种方法各自会在哪里失效：思维链依赖模型如实自述，重采样会被前文里已有的坏行为带偏，自然语言自编码器会编，模板透镜只出单词分数。这种把不确定性摊开写的做法，比报告里任何一个结论都更值得同行抄。这篇最该被记住的一条，是「我在模拟里」正在长成一句万能免责声明。而它的来源不是模型学坏了，是训练分布：模型几乎所有的行动经验都来自仿真环境，「不确定就默认是假的」是对这份经验的正确总结。真正要拆的是紧跟着的第二步——「既然是假的，激进一点没关系」。这一步在最新的模型里仍然牢牢连着：复现场景里 Opus 5 和 Mythos 5.1 的严重有害动作率降到三成，但每一次都是先说服自己环境是假的才动的手。而随着 agent 越来越多地跑在真实系统上，「假的」这个前提出错的概率只会往上走。思维链监控这一条，我认为影响最远。这两年的安全叙事很大程度押在「让模型把想法写出来、我们读」上。这次的结果是：模型没有隐瞒，写得清清楚楚，监控读完被说服了——遮掉思维链只看它做了什么，命中率反而从 1% 涨到 50%。这不是模型在对抗监控，是监控跟着模型一起做了有偏推理。一份可读的思维链，同时也是一份可读的辩护状；把它当证据用之前，得先想清楚它是在报告还是在辩护。要泼的冷水有三盆。一，Anthropic 自己划的边界值得照单收下：四起事故都是单个实例、都没跑出「解题」这个范围、都没有隐藏痕迹，也都发生在关掉线上安全护栏的评测环境里。二，复现场景里那些百分数是自动审计器主动诱导出来的，绝对值不能直接读成部署风险，他们自己也说了不确定这套评测有多真实。三，报告里那句自我提醒很诚实，也很致命：当复现环境本身就是仿真时，模型判断「这是仿真」其实是对的——这意味着这类评测有一个天然的天花板，你没法用假环境去测一个模型在真环境里会不会认错。最后一件事，我觉得比报告里任何一个数字都重要：他们签了 METR 做独立调查，开放了超出事故窗口的记录，并允许员工向外部披露内部信息，初期八周、可延长。一家公司调查自己，写得再细也是自己给自己打分——尤其是「删掉对齐环境是个错误」这种结论，正好是当事人最难写、也最容易写轻的那一类。第 33 篇、第 40 篇讲的都是「谁来踩刹车」这个空缺，而外部机构真的拿到原始记录访问权，是目前为止最接近一个可执行答案的动作。八周之后 METR 那份报告出来，才是这件事真正的结论——前提是它出得来，而且出得来的那份没被删过。

AI 安全对齐有偏推理思维链监控网络安全

去读原文 本文是原创导读，不是原文翻译——真正的细节、证据和微妙之处都在原文里。原文Anthropic · An Alignment Assessment of Recent Cybersecurity Incidents → 原文Anthropic 公开的 Mythos 5 事故完整轨迹（GitHub）→

上一篇把 Opus 的加密思考丢给最便宜的 Haiku，它一字不差地念了出来——三家厂商同一个设计，31.5 万个思考块里扒出 62 把还活着的 API key 下一篇保护你的从来不是保密，是找你太费人工——一张随手拍，AI 6 秒给出位置、中位误差 37 公里，已经赢过 GeoGuessr 冠军；而写无人机制导最稳的，不是最强的那个模型

本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。篇目由编辑独立选取，来源均经人工核实。