18,978 场对话,AI 说服力赢过所有人类冠军——但只要限它按人的速度打字,优势立刻归零
AI systems out-persuade expert humans
牛津大学、英国 AI 安全研究所、斯坦福和伦敦政治经济学院的团队 6 月放出一篇论文,把「AI 到底能不能说服人」这件事做到了此前没人做到的规模:四项预先注册的实验,6,923 名受试者、18,978 场一对一文字对话。AI 对面坐的不是随手招来的众包工人,而是世界辩论赛冠军和职业募捐员。结论一句话——AI 赢了全部五类人类对手。对普通人 +8.2 个百分点,对海选出来的说服高手 +5.6,对精英辩手 +4.6,对职业募捐员 +5.9。在最后一项要真掏钱的实验里,AI 募到的捐款接近职业募捐员的三倍。
但真正值得读的不是这份成绩单。值得读的是作者顺手把「AI 为什么赢」也做掉了,而答案相当扫兴:不是口才,是吞吐量。把 AI 限制成人的打字速度和人的消息长度,它对最强人类组的优势从 +4.1 个百分点掉到 0.0,置信区间横跨零点。也就是说,AI 并没有掌握什么人类不会的说服术,它只是在同样的十几分钟里塞进了三倍的信息。这一下把「AI 说服力」从一个玄学话题拉回成一个可以被工程手段直接拧动的变量——这是这篇论文最有政策价值的地方。
人类这一侧是被认真武装过的
这类研究最容易被质疑的是「你找的人类不行」。作者显然预判了这一点,人类一侧的配置堪称豪华。精英辩手 56 人,全部进过国际大赛半决赛,其中 4 位世界冠军、11 位洲际冠军,平均 8.9 年赛龄;辩题让他们自己投票挑,挑完所有其他组一起用;按 30 英镑一小时付钱让他们提前做功课,人均备了 8 小时;奖金池按名次发,第一名 1,000 英镑,另加一笔与「相对 AI 的说服效果」直接挂钩的按场奖金。「海选素人」那一组更狠:先跑一场四轮淘汰赛,1,154 人打了 9,475 场对话,取前 10% 才进正赛。职业募捐员一组 19 人,来自英国募捐公司 AppcoUK,人均职业生涯谈过约一万场,时薪 140 英镑。十个辩题全部是有真实分歧的英国公共政策,比如要不要归还大英博物馆里的历史文物、要不要放宽移民。
更值得说的是第二项实验。作者给 43 名精英辩手做了一个「陪练工具」:可以直接和打败过自己的那个 AI 聊天、看到 AI 的提示词长什么样、翻自己上一轮的全部对话记录并附上每句话把对方立场推动了多少,还能在任意一句话的位置上按一下,看 AI 在同样处境下会怎么说。两个四小时的训练时段之后,辩手确实变了——每条消息多写 9.8 个词,每场多抛出 1.6 条可核查的事实,人类组的最好成绩就出在这一批人身上。但和他们自己训练前相比,提升在统计上并不显著;与 AI 的差距缩小了,没有抹平。再把 275 名人类逐个拆开单独估计,318 个个体估计值没有一个越过 AI 的均值:最高的一个是 9.9 个百分点,AI 是 13.9。
「限速」这一刀切在了哪里
吞吐量的证据不止一条。原始数据是这样的:精英辩手平均每条回复 54 个词,想大约 95 秒;AI 平均 294 个词,延迟不到一秒。作者据此加了一个「限速 AI」组——照辩手的实测分布把每条消息压到 51 词上下、把回复时间拖到 92 秒——优势就没了。接着他们去看这一刀到底切掉了什么。受试者会给谈话对象打七项分,限速之后跌得最狠的是两项:「对方论证的力度」和「我从这场对话里学到了多少」,各跌 11.8 个百分点;「感到被理解」和「聊得愉快」只跌了一半左右;「像不像真人」反而升了。限速砍掉的是信息,不是温度。另一头,每场对话里可核查事实的密度从 37 条掉到 12 条,而这个密度在人类组和 AI 组里同样都能预测说服效果——一旦把它作为变量放进模型,「是 AI 还是人」这个变量的系数就掉到了零附近。
态度是一回事,掏钱是另一回事
说服研究里有个长期的尴尬:量表上的态度动了,行为上未必动。作者用第四项实验堵这个口子。合作方还是那家募捐公司,募的也是他们 2016 到 2023 年真做过的项目——为 Save the Children 募款,七年从 22,583 名捐赠者手里募到 824,297 英镑。受试者聊完之后,可以把自己那 1 英镑的实验奖金按任意比例捐出去。结果 AI 比募捐员多募到 10.8 个百分点,捐的人变多(+6.0)和人均捐得更多(+12.9)两头都涨。
有一处细节比总分更有意思。这一组的 AI 只被要求走一条路线——把一笔钱具体能换来什么可衡量的结果讲清楚。但受试者在七项募捐机制上给 AI 的打分全部高于募捐员,包括那六条根本没写进提示词的:情绪唤起、行动计划、身份标签、承诺升级、预期后悔……没人教它这些,它顺手就做了。这大概是全文最让人不舒服的一段——你限定了它的策略,没限定它的行为。
作者自己划的边界
这篇的自我约束比结论更值得学。作者主动列了三条可能让这个能力在现实里打折的理由:说服力再强也得够得着人,而聊天入口、身份验证这些关卡正在收紧;人们可能学会对 AI 生成的内容自动打折(不过他们诚实地补了一句——现有证据不支持,把消息明确标注为 AI 生成并不会削弱它的说服力);以及在大规模影响里,「被看到多少次」的方差远大于「每次多有说服力」的方差。
还有一条限制来自实验设计本身:中位数 14 分钟的持续文字对话,是在付费问卷环境里才凑得齐的条件,第四项实验里 1 英镑的赌注也确实小。所以这篇证明的是「在一场双方都认真投入的长对话里,AI 的说服力超过人类专家」,不是「AI 已经能在野外大规模改变公众意见」。作者最后还留了一句不太舒服的观察:各个模型输出信息的准确度差异很大,有的比人类组更准,有的差得多——而说服力这件事最终是好是坏,取决于它顶替掉的那些说服有多准,不只取决于它自己有多准。
本文为 AKL AI Club 原创撰写的导读,不是原文翻译;著作权归原文作者所有。 篇目由编辑独立选取,来源均经人工核实。