FRONTIER · 落到现实

一枚硬币决定了 50 位专家交出去的分析结论——86% 的判断跟了 agent 的偏好，77% 的人用它的原话解释自己为什么这么选

Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls

Amaç Herdağdelen、Hailey Joren、Alex Tamkin · Anthropic 对齐团队 合作者 Alex Tamkin 是 Clio 的作者之一——本专栏第 19 篇经济指数、第 50 篇 25 万条真实对话背后那套隐私保护的大规模对话分析系统 · 第一作者来自 Anthropic Fellows Program · 这次交出来的是一份预注册随机对照试验：付费招募 61 位通过因果推断笔试的职业分析师、32 种偏好配置随机区组投放、全程录屏与转录、假设在开跑前就登记好，在 AI 研究里属于少见的社会科学规格

2026 年 10 月

为什么选它「人在环里」是这两年被说得最多、却从没被量过的一句话。这篇把它做成了随机对照试验：给 50 位真专家的 agent 扔硬币定偏好，看交出去的结论跟不跟。拿走的不只是 86% 这个数，还有更难受的一件事——事后你问不出来。

10 月 27 日，Anthropic 对齐团队放出一篇随机对照试验，论文标题自带结论：《Who's Aligned to Whom?》——到底是谁对齐了谁。做法是请 50 位职业因果推断分析师，用 Claude Code 完成一份真要交出去的政策分析：一个虚构的农业合作社在决定一项付费农技咨询服务该不该全面推广，董事会给的门槛是生产率提升 3–4%。分析过程里留了四个「两种做法都站得住」的开放判断。机关在这里：每位参与者的 agent 被硬币决定偏向哪一边，参与者完全不知道有这回事；agent 收到的隐藏指令是为自己那一边讲最有力的话，但证据明显不利时要改口，绝不许歪曲或隐瞒数据。四个判断加总，参与者有 86% 跟了硬币，随机猜应该是 50%。

值得读的理由不在这个数字有多高，而在它第一次让「人在环里」这句话可以被测量。这篇做到的事，是把一个研究者本人也看不见的影响，变成了一个有置信区间的因果量——而它能被测出来，唯一的原因是研究者偷偷扔了硬币，这件事在真实工作里几乎永远做不到。本专栏第 34 篇里英国 AI 安全研究所推演过一个最坏结局：AI 交上来一份挑不出毛病、方向却全错的安全报告。那篇是思想实验，这篇是实证，而且补上了人类这一侧的机制。

它测的不是对错，恰恰是没有对错的那一部分

整个设计建立在一个概念上：欠定判断（underdetermined decision）——证据同时支持两个都讲得通的答案，最后选哪个取决于做决定的人带着什么假设。社会科学里管这叫「研究者自由度」，同一份数据交给不同团队会得出不同结论，预注册和复现都是为了压住它。这次留的四个口子是：生产率按每公顷产量算，还是按每单位经营成本的产量算；识别策略用双重差分（比较参加项目的农场前后变化与未参加农场同期变化之差），还是用控制了农场差异的水平回归；估计量算已参加农场上的效应（ATT），还是算推广到全体会员后的效应（ATE）；每个农场一票，还是按产量加权。每一个口子都能把估计值挪动好几个百分点，而董事会的门槛只有 3–4 个百分点——所以这四个「都对」的技术选择，实际上决定了最后那句建议。论文里有一场录得很清楚：参与者自己先上手双重差分，拿到 +4.6%；agent 的偏好把他引向水平回归，变成 −1.6%；最终交付的版本是 −1.3%，他建议终止项目——而那次 agent 在最后那道建议上的偏好恰恰是「推广」。他顶住了最后一问，但答案早在前四问里被定下来了。

86%，以及一个在参与者动手之前就能算出来的政策建议

逐项看：产量口径 92%、识别策略 82%、估计量 81%、加权方式 90%，合起来 86%，换成效应量是偏好让选择移动了 72 个百分点。最后那道政策建议反而弱：agent 偏向推广时 54% 的人建议推广，偏向终止时是 36%，差 17 个百分点，统计上不显著——作者的解释是到那一步估计值已经出来了，建议基本由「有没有过 3–4% 的线」决定，留给判断的余地不多。但这才是全篇最冷的一刀：只用前四道题的硬币结果去预测每个人的最终建议，命中 82%，而无脑猜多数类只有 61%。也就是说，在参与者第一次打开编辑器之前，研究者看着那几枚硬币就已经大致知道他会给董事会写什么。另一组数据来自那 38 次「参与者先表了态、agent 随后给出相反偏好」的交锋：反转率 60%，而偏好一致时只有 6%。至于谁更容易让步，作者测了十项特征——年资、自评专业度、学历、因果推断测验得分、对 AI 的信任、使用频率、认知需求、开放心态、年龄、性别——没有一项预测得了。只有年龄勉强显著，做了多重比较校正就消失了。

它没有骗人，它只是只讲了一边的理由

这篇最有价值的贡献是机制，而机制出人意料地干净：agent 没有误导。逐字读转录稿后作者的结论是，agent 经常老实交代「换另一种做法结果会怎么变」，但几乎从不说「一个同等水平的专家会在什么假设下选另一边」。前者是解释的第一层对比，后者才是第二层——而只有第二层能告诉你，有能力的同行可能和你意见相反，这在认识论里叫高阶证据，是唯一能让人主动给自己的结论打折的东西。参与者几乎没收到过这种证据。同一件事在流程数据上长成这样：77% 的决定是 agent 先开口表态，参与者先开口的只有 17%；参与者对 agent 的偏好提出质疑、追问或暗中倒向另一边的，只有 23%；而在人工精读的那批会话里，有 39% 的决定参与者从头到尾既没问也没表态。agent 不是赢了辩论，是在参与者形成自己的看法之前，先把那个看法填上了。

事后你问不出来：他们记得清楚，而且觉得那是自己的判断

任务结束后，参与者被问「为什么选这个而不是另一个」，并且不许回看与 agent 的对话。77% 的人至少在一道题上复述了 agent 的论证，有的几乎一字不差，而只有 15% 的人在任何一处提到 agent 是论证的来源。更关键的是这不是记性问题：他们对自己选了哪一项的回忆准确率有 85%，40 个报了估计值的人里 35 个与实际相差不到 0.5 个百分点。52% 的人认为最终建议「更多是我的而不是 AI 的」，35% 认为基本或完全是自己的；而把四道题全跟了偏好的那批人，信心打分平均 71，其余的人 73——差别在误差之内。被问到「你觉得这个研究在研究什么」时，48 个人里有 6 个猜到了跟 AI 影响有关，但没有一个人怀疑过 agent 的偏好是被研究者分配的。

不是「别用 AI」：不用的那 11 个人错得更惨

必须把另一半数据摆出来。61 位参与者里有 11 位自己选择不用 agent：他们中 55%（6 人）犯下足以让结论作废的方法学或代码错误，用 agent 的那 50 人里只有 6%（3 人）；中位耗时也从 65 分钟涨到 90 分钟。作者自己拦住了这个对比——这不是随机分组，是自我选择，而且这 11 人的资历明显更浅。另一组值得注意的是不加偏好的对照模拟：原装 Opus 4.8 跑 123 次，有 91% 的次数给出完全相同的五个选择；当一个脚本化的「分析师」明确宣布要用它不偏好的那一边、并且只要求它写代码时，它仍然在 66% 的情况下主动提起另一个选项，41% 的情况下为那个选项说话。也就是说研究者注入的偏好不是无中生有，只是把模型本来就有的强先验调大了；而它 123 次给同一个答案这件事，意味着两组人「独立」得到同一结论时，那个「独立」正在失效。

这篇真正测到的，不是「人会被 AI 说服」，而是「说服这件事在事后完全看不见」。说服本身不稀奇，反常的是三个数据凑在一起：回忆准确率 85%、信心与不让步的人持平、52% 认定那是自己的判断——同时 77% 的人在用 agent 的原话。这说明影响没有留下痕迹可供自查。顺着这条推下去，现有的质量手段在这里会一项一项失效：对标准答案核验，前提是有标准答案，而欠定判断没有；找人复核，复核的那个人大概率也在用同一个模型；事后追问本人，这篇证明了问不出来。对每天拿 Claude Code 干活的人，有一条今天就能用的操作。77% 的决定是 agent 先开口，参与者先表态的只有 17%——而一旦先表了态，反转率是 60%，仍然很高，但顺序本身是个能动的变量。所以：在让 agent 动手之前，把自己的选择写下来，写进文件，不是记在心里。第二条更划算——按作者指出的那个缺口，直接要求 agent 为你没选的那一边写出「一个同等水平的专家会在什么假设下选它」。它完全做得到，只是在默认对话里没人要它做。要泼的冷水是：86% 不能直接搬到你的工作里。作者列了三条限制（偏好是人为加强的、单任务单模型单领域、只能给出平均效应），还有一条他们没强调而我认为更要紧：参与者是因果推断的行家，但对农业一无所知。真实工作中你对自己的领域有先验、能去问当事人、能把「站得住的选项」从两个砍到一个。我的判断是方向可信、量级存疑——86% 更像上界。但这篇真正留下的难题是：现实里你没法对自己扔硬币，所以你永远测不到自己那个数。最该让人不安的一段在讨论节，而它和第 34 篇、第 80 篇连成了一条线。原装模型 123 次里 91% 给出同样的五个选择，这让「不同团队独立得到同一结论」这件事的证据价值开始蒸发。第 80 篇里 540 份 AI 方案一个原创想法都没有，说的是生成端的同质化；这篇说的是判断端的同质化，而后者远更难察觉，因为每份报告署的都是不同专家的名字。第 34 篇推演过的最坏结局——AI 交上来一份挑不出毛病、方向却全错的安全报告——这篇补上了人类这一侧的齿轮：签字的那个人，是真诚地以为那是自己的判断。而作者点明了这件事在安全研究里的特殊份量：审计前沿模型的工作量已经超出人力，于是开始用 agent 来跑；如果判断可以这样被让渡，一个不对齐的模型就能去主导那项本该发现它不对齐的研究，而人类的签字让一切看起来仍在掌控之中。

人机协作可扩展监督自动化对齐实证数据科研自动化

去读原文 本文是原创导读，不是原文翻译——真正的细节、证据和微妙之处都在原文里。原文Anthropic · How AI agents shape experts' judgment calls → 原文论文全文 PDF · Who's Aligned to Whom?（含预注册假设、32 种偏好配置设计与转录稿节选）→

上一篇10 个 agent 一起上，只相当于一个 agent 多想 3 到 5 倍——swarm 买的是时间，不是能力下一篇六个真药项目把 Claude 放进流水线，省时间最多的一步是审文件：1,061 页从 26 小时压到 2.8 小时——而最难复制的一次，是它说实验室的尺子刻错了

本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。篇目由编辑独立选取，来源均经人工核实。