FRONTIER · 路线之争

一张书架照片问还能不能塞两本书，三个最强模型三次全错——522 道题人类 93.1，模型最高 53.6，而失败的 94% 不在推理

Humanity's Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models

Xingang Guo、Jing Gu、Brian Jang 等 29 人 · Scale AI × Elorian Scale AI 这边出手的是它的研究部门 Scale Labs——SEAL 那一系列排行榜就是他们维护的，Humanity's Last Exam（Diamond）、MultiChallenge、AudioMultiChallenge 都挂在同一个站上 · Elorian 是 2026 年才冒出来的新公司，但创始团队不新：CEO Andrew Dai 是 2015 年那篇第一次把「语言模型预训练 + 监督微调」写清楚的论文的第一作者，后来共同负责 GLaM、做过 Gemini 的数据方向负责人和 PaLM 2 预训练共同负责人；联合创始人 Yinfei Yang 带过 Apple 基础模型的多模态、是 MM1 与 ALIGN 的共同作者；Dustin Tran 此前负责 xAI 的后训练团队，是 Gemini 1 到 2.5 的核心贡献者、Gemini 技术报告的共同第一作者；Seth Neel 来自哈佛 · 29 位作者里近一半来自 Elorian，而 522 道题全部由人类标注员撰写、经三轮独立复审，3,466 道只收了 15.1%

2026 年 10 月

为什么选它多模态基准满天飞，这是少数连「为什么错」也一起测了的：8,573 次失败逐条打标，53% 感知、41% 补全、只有 5% 推理——一句话把「模型不会想」和「模型没看见」分开了。再加上盲测掉到 6.6%、思考预算加大反而掉分、裁剪放大救不回深度这三组数，做视觉 agent 的人能直接拿去对自己的失败清单。

10 月 7 日，Scale AI 和一家叫 Elorian 的新公司一起挂出一个基准，名字起得很大：Humanity's Sixth Sense（人类的第六感）。它测的东西却小而具体——看一张照片或一段几十秒的视频，回答一件画面里根本没画出来的事：书架上还能不能再塞进两本白书，两辆轿车之间还能不能停进一台车，牵引犁的那几根链条是绷着受力还是松垂着，这张照片拍下来的前一秒人是从哪个方向走进来的。522 道题，20 个人类标注员答到 93.1%，当时最强的 GPT-6-astra 开到 max 只有 53.6%，25 个模型的中位数是 30.9%。Elorian 在博客里公开了六道这样的题，GPT-6-astra、Claude Opus 5.5、Gemini 3.8 Flash 在这六道上三次尝试全错——而大多数人看一眼就答对了。

值得读它的理由不是这个分差。「人类轻松、模型拉胯」的基准每个月都有新的，看久了会麻。真正的新信息在失败归因那一节：作者把 24 个模型的 8,573 次首次失败逐条打了标，53% 是看错了画面里确实存在的东西，41% 是没能补上画面暗示但没画出来的东西，只有 5% 是逻辑推错。也就是说，模型在这类题上几乎不是「想不明白」，是「没看见」和「没想到该看」。而且这些错是整个行业共享的：在五个以上模型都失败的题上，中位数有 80% 的模型栽在完全相同的那个原因上。

这 522 道题凭什么值得当真：3,466 道里砍掉了八成五

每道题的结构是四件东西：一段媒体、一个人写的问题、一份标准答案，外加一组把标准答案拆开的原子 rubric——每条独立可判，而且必须全部满足才算答对，不给部分分（全集 723 条，71.5% 的题只有一条）。作答是开放式的，没有选项可排除，判分交给 Claude-Opus-5 当裁判。题目全部由受过训练的人类标注员撰写，然后进三轮彼此独立的复审，每一轮的复审员只能给三种判决：过、打回重写（重写后从第一轮重新排队）、永久丢弃。这条流水线的损耗惊人：3,466 道题撰写出来，第一轮剩 1,164 道，第二轮剩 559 道，第三轮剩 522 道，端到端通过率 15.1%，而第一关就砍掉了约三分之二。被砍的主要理由是两条：靠纯感知就能答（作者写了一条很硬的规则——如果把目标区域高分辨率裁出来答案立刻显然，那这题测的是视力不是直觉，丢掉），以及问题或答案有主观空间。此外还有一条盲测对照值得专门记下：把图像和视频整个抽掉、只留题干，最强模型从 53.6% 掉到 6.6%，522 道里只有 4 道三次全过——很多多模态基准根本不报这个数，而它是「这题到底需不需要看」的唯一硬证据。

94% 的失败不在推理，在「看」和「补」

按子域拆开之后，错误的形状相当整齐：判断「放不放得进去」的题，62% 的错是尺度估计（spatial reachability 是 56%）；判断「下一秒往哪走」的题，42% 的错是朝向认反了；判断「遮住的后面还有多少」的题，44% 的错就是数量；而机械因果和心理推断这两类，47% 和 39% 的错是漏掉了那个决定性的线索。十一个子域里只有一个——「异位视角」，也就是从别人站的位置看过去能看见什么——推理占了显著比例，其中 23% 是视线判断错。最弱的一整个域是社会理解：读意图、读信念、读谁在让着谁，25 个模型里有 21 个把它排在自己的最后一名，平均 24.4%，其余三域平均 34.1%。视频比静态图难，23 个模型平均掉 7.3 分。不过有一部分「看不见」其实是没给它看够：把每次请求的抽帧上限从 10 帧提到 500 帧，GPT-6-astra 在 234 道视频题上涨了 17.9 分。

想得更久、给它工具，都只能补一半

25 个模型平均每题烧掉约 4,000 个思考 token——这些题人类标注员说自己是凭直觉答完、花在解释上的时间比想答案的时间还长。更有意思的是加预算的效果：总体分数确实涨，但子域会退。GPT-6-astra 的「回溯前一秒」子域从 high 提到 xhigh 掉了 14 分，到 max 才部分回来；很多子域的峰值落在中档而不是最高档。给工具的那一版做得更彻底：把模型放进厂商自己的 agent 外壳里，允许它裁剪、放大、回头再看一遍。Claude Code 带来的提升最大，Opus 5 涨 20.5 分、Fable 5.1 涨 16.5 分，代价是中位 57 到 72 步、每题四万多思考 token；Codex 给 GPT-6-astra 只涨 4.9 分，但只花 14 步，而它也就是全场最高的 59.3%。失败总数从 944 降到 759，降下去的全是「再看一眼能救」的那几类：认错物体或角色 181→147，朝向 117→93，尺度 137→105，漏掉线索 154→110。而把二维画面上的遮挡误当成三维上的对齐这一类，102 降到 101，等于没动——放大一张二维图片补不回深度。agent 还带来了自己的新错法：它偶然会把第一遍答对的答案分析成错的；失败的轨迹明显比成功的更长，中位 81 步对 67 步。

作者自己划的边界

局限写了三条，都给了对冲。音频：视频一律不给音轨也不给字幕，要靠听的题按定义不在范围内。裁判依赖：分数由 LLM 给，他们换了三家厂商的裁判在 2,620 个条目、3,780 条 rubric 上重判，判与判之间相关性 r≥0.98，条目级和条款级一致率都超过 95%、κ≥0.92，其中 GPT-5.6-terra 平均严 2.4 分但严得很均匀；自偏也查了——Claude-Opus-5 给自己打分只让自己偏了 -0.44 分。污染：素材来自公开网络，不能排除单张图进过训练数据，他们的论据是题目是针对这些素材新写的，测的不是素材本身。另外两处细节值得一提：人类基线那 20 人要自报信心，只有 63 道（12.1%）标了「不确定」，标确定的 459 道答到 94.1%，而标不确定的那 63 道也还有 85.7%——这种能力在人身上不随信心一起掉。素材许可也是真做了功课：只从 Wikimedia Commons、Openverse 和互联网档案馆三个带机器可读许可元数据的源里取，只接受公共领域、CC0、CC-BY、CC-BY-SA 四种许可，取回时就把来源不明或禁止改作的一律拒掉，逐条带着作者署名随数据集一起发。

这篇最该被争的，是那 93.1 分里有多少是筛出来的。入选规则里有一条：只有三位独立复审员对标准答案一致同意，题目才收；3,466 道砍到 522 道，第一关就砍掉约三分之二。这条规则保证了题干净，但它同时把「人类对此有共识」写成了入选条件——于是人类基线接近满分这件事，一部分是测出来的，一部分是定义出来的。作者在局限那节列了三条（无音轨、裁判依赖、污染），没把这条列进去。我不认为这能推翻结论：6.6% 的盲测对照和 94% 的感知归因都不依赖人类基线。但凡是拿「人类 93 对模型 53」去讲故事的，应该知道这四十分的差里有一截是筛选的产物。Jack Clark 从同一份结果里读出的东西和作者想说的刚好相反，而两种读法都成立。作者的立论是「缩放至今没长出这个能力」；Jack Clark 在 Import AI 476 里反过来说：很多人长期坚持真正的视觉推理必须先有一个空间感知的二维／三维世界模型、再在上面推理，而纯语言模型路线出来的 GPT 和 Claude 能做到这个程度，本身就是对那套主张的反驳。这正是本栏第 2 篇 LeCun 那条线的争点。我的看法是，这次真能分出一点胜负的不是 53.6 这个数，是归因：如果失败集中在那 5% 的推理上，说的是「它不会想」；现在集中在 53% 的感知和 41% 的补全上，指向的是表征——它看进去的东西不够，而不是看进去之后处理错了。「想得更久反而更差」这一行，比总分有用。回溯子域从 high 提到 xhigh 掉 14 分，不少子域的最好成绩落在中档。第 26 篇把思考讲成一种可以花钱买的算力，这篇给那句话加了个边界：这一种买不到，加预算只是让模型从一个凭直觉就对的答案开始往外论证，然后论证到错的那一边去。人类标注员的自述正好对着读——他们说自己是直觉答完、再花时间解释。如果你在做视觉 agent，直接读子域那张表，别读总分。它把失败按你真会遇到的形状拆开了：问「放不放得进去」，62% 的错是尺度；问「下一秒往哪走」，42% 的错是朝向；问「遮住的后面有多少」，44% 的错就是数量。最硬的一条是那个 102→101：给模型裁剪和放大的工具，能把看漏和认错救回来一大半，但把二维上的遮挡误当成三维上的对齐，一张都救不回来。这跟第 75 篇是同一个形状——机器人今天卡住的不是脑子是手；这里卡住的不是推理，是眼睛。

多模态视觉推理评测方法世界模型失败归因

去读原文 本文是原创导读，不是原文翻译——真正的细节、证据和微妙之处都在原文里。原文Scale Labs · Humanity's Sixth Sense：摘要、全部 29 位作者，以及论文 PDF 的入口 → 原文论文全文（PDF）：失败归因那张子域表是 Figure 3，agent 修掉了什么是 Figure 4，想得更久反而掉分是 Figure 5 → 原文官方排行榜：25 个模型按域拆开的分数，以及「怎么读这张榜」里 pass@1 和 rubric 分的区别 → 原文Elorian 的发布博客：六道公开题可以自己先答一遍，再看三个最强模型错成什么样 → 延伸数据集（522 道题全部开放，附逐条素材许可与作者署名）→ 延伸Import AI 476：Jack Clark 把这份结果读成了「世界模型不是必经之路」的证据——和作者的立论正好相反 →

上一篇源码、测试、git 历史全删，只留一个不许读、只许跑的二进制——五月全场 0 分，十月 37 个程序被从行为反推着重建出来下一篇六个最强模型进了一间真实验室：92 个任务只过了 45.3%，而它们的错是拿冻着的样品去移液、给开着盖的孔板涡旋、一个枪头用到底

本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。篇目由编辑独立选取，来源均经人工核实。