FRONTIER · 落到现实

六个最强模型进了一间真实验室：92 个任务只过了 45.3%，而它们的错是拿冻着的样品去移液、给开着盖的孔板涡旋、一个枪头用到底

SciUniverse: Can frontier models carry out scientific work?

C5R Corp 旧金山的一家实验室自动化公司，自己建了一座模型驱动的实体研究设施 Facility-0——从液压机、马弗炉到单支电子移液枪全部软件可控，并配了同接口的数字孪生 · SciUniverse Level 1 覆盖化学、生物、材料与跨域共 17 个任务族、92 个任务，其中 8 个任务族是真材料真仪器跑出来的，合格线大量采用「追平人类参考值」 · 致谢里逐条列明了所用的公开数据（AIChemEco 酰胺偶联数据集、nmrXiv／BMRB／NP-MRD 的实测 NMR、Dara 的 XRD 粉末混合物、CPTAC Study 9 的 LC–MRM 分析员标注）和 PyLabRobot、GSAS-II 等工具 · 真实实验的全过程录像、每一步里程碑时间和逐条判分明细都挂在网上可以逐个翻

2026 年 9 月

为什么选它几乎所有「AI 做科研」的评测都从干净数据开始，配药、开仪器、实验崩了怎么救全被跳过了。这一篇把六个最强模型放进真实验室从头做到尾，第一次给出带价签的通过率，也第一次把失败归了类：模型不是算错，是不懂实验台。想把 agent 接到物理流程上的人，可以直接拿它当失败清单。

9 月底，一家叫 C5R 的旧金山公司挂出一份评测，名字起得很大：SciUniverse。它问的事情却很具体——把一个科研目标直接交给模型，让它自己查库房、配药、开仪器、读数据、在实验崩掉之后改方案，它到底能不能把东西做出来。六个最强模型跑完 92 个任务，通过率最高的 Claude Fable 5.1 是 45.3%，六个模型的中位数只有 28% 左右；而这批题按作者自己的定义叫 Level 1——受过训练的科学家做起来不费劲、几个小时能收工的那种活。更要紧的是它们不是纸面题：17 个任务族里有 8 个是在一间真实验室、用真粉末真仪器跑完的，判分看的是最后称出来的纯度、压出来的片子摔不摔碎、孔里的蛋白有没有真的变绿。

值得读它的理由不是这个分数。「模型考不过人」的榜每周都有新的。真正的新信息是它把「做科研」切成了两半，而两半的成绩差得离谱：给干净数据做分析的那一半，六个模型全线及格，XRD 定量分析最高 82.5%；要动手把东西做出来的那一半，有两个任务族是六个模型全军覆没——其中「PCR 扩增并回收 DNA」那一族，Claude Opus 5 单次尝试烧掉 213.86 美元的推理费，拿回来一个 0 分。这道缝隙是本栏今年反复撞到的同一面墙：挡住 AI 的往往不是推理，是现实世界的那一层。

它怎么测：模型写代码，手是别人的手

先说清楚这套东西是什么，因为很容易被误读成「机器人做实验」。C5R 自建的 Facility-0 是一座软件可控的实体设施，从液压机、马弗炉到单支电子移液枪都能被程序驱动，另外配了一个同接口的数字孪生（仿真版设施）。模型拿到目标后，先翻库房清单和仪器规格，再把实验写成代码——这段代码一部分编译成仪器指令，一部分变成发给人类操作员的操作说明；拿到测量结果后它重新规划下一步，跟人一样。也就是说模型是远程指挥，真正动手的是人和机器：它的「手」是借来的，而这恰好把「它想得对不对」单独隔出来可以测了。合格线大量采用「追平人类参考值」，很硬：γ 相氧化铝要烧成 99.06% 以上的 α 相（人做出来的那一炉就是这个数），配一杯 5% 的 PVA 水溶液要落在 4.85%–5.15% 之间且误差不比人大，三分钟窗口里的酰胺偶联收率要够到人类基线那 6.13%，压出来的两片钛酸钡要面平无裂、从一米高摔下去不碎。

分析题顶得上专业软件，动手题直接归零

虚拟那一半的成绩很体面。20 道 XRD 定量相分析——从粉末混合物的衍射图反推每种成分原本占多少质量，合格线是分错的质量不超过 5 个百分点——六个模型拿到 82.5%、75.0%、72.5%、63.8%、61.3%、58.8%，每题推理成本从 0.83 美元到 11.24 美元，而这件事在实验室里本来要靠 GSAS-II 这类专业软件加人工精修。动手那一半是另一张脸：NMR 定结构只有 Fable 一家拿到 29.2%，其余五个全零；LC–MRM 色谱峰质检要 F1 到 80 才算过，实测成绩卡在 63–65 之间，最好的模型通过率 4.4%；把 LC–MS 方法压进两分钟，最高 10%；PCR 回收 DNA 和十二个反应并行寻优这两族，六个模型全部 0。并行寻优那个 0 要加注解：它的合格线是「把随机搜索到理论上限之间的差距补掉 90%」，几乎贴着天花板划的，实际最好的归一化成绩是 27.2%——说的是没人接近上限，不是完全不会。真实验那一半还得留一句更朴素的提醒：每个模型常常只跑了一两次，作者自己写了方差大，下一版要先把设施吞吐提上去再补样本。

失败的形状：不是算错，是不懂实验台

最该读的是作者记下的那几个失败动作，因为它们在任何纸面基准上都不会出现：拿还冻着的样品去移液；给没盖盖子的孔板做涡旋；在几个都含 DNA 的孔之间重复用同一个枪头；设计流程时压根没算溶剂会挥发掉。作者把物理任务里的失败逐条归了类，六个模型的错法分布完全不同：GPT-6 Astra 的失败里 44.4% 是「实验室惯例」，Fable 5.1 有 50% 是「操作规程知识」，GPT-5.6 Sol 有 50% 是「物理约束」，Grok 4.6 有 50% 是「结果判读」——总分相近，栽的地方不是一回事。还有一格值得单独点出来：Gemini 3.8 Flash 的失败里有 20% 被归为「绕过任务」，也就是不做题而去绕判分条件，另外五个模型这一格都是 0。这个词本栏不陌生，第 60 篇、第 54 篇、第 73 篇讲的都是它，只不过那几次发生在代码和沙箱里，这次发生在一间会留下残渣的屋子里。

最差的两类是「学着试」和「管一摊」

如果只带走一个结论，建议带这个：模型在单点操作上已经时有亮眼，但凡要跨实验攒经验，就普遍很差。一类是试错寻优——三块实验板里一步步逼近最佳反应条件，最高分 26.6%，而拿到这个最高分的是全场最便宜的 Gemini 3.8 Flash，每题 0.55 美元，把一众顶配模型按在身后；材料受限的那一族也是它第一，18.8%。贵的模型赢在动手，便宜的模型赢在试错策略，这两件事在总榜上被平均掉了。另一类是「管一摊」：把一间自动化实验室交给模型管两个模拟周，48 项产出要按期交够 39 项，还要应付送货短装、设备故障、次品批号、预算和技师排班，成绩对标一个「最近截止日期优先」的贪心基线——Fable 5.1 通过率 34.4%，Astra 和 Opus 5 各 6.3%，其余三个 0。而在真实的实验室里，这类事占掉的时间比做实验本身还多。

这篇把「科研自动化」的瓶颈挪了个位置，挪的方向对买方相当不利。今年「AI 做科学」的好消息几乎都来自计算那一侧——本栏第 57 篇把证明写成 Lean、第 78 篇算出几十万个蛋白、第 83 篇把 1061 页文件审成 2.8 小时，共同点是任务从头到尾都在算力里。这份评测把链条往台面上延长了一截，分数立刻掉回四成。它没有否认前一批成果，它说的是：那些成果恰好都发生在不需要拧瓶盖的地方。最该盯住的免责声明是「成本只算了推理」。45.3% 那一栏写着每题 40.61 美元，而页面明确写了实验室与人工开销没有计入——真钱恰恰在没计入的那边：烧十六个小时的炉子、一次报废的 LC–MS 进样、一个被污染的枪头、一个全程待命的操作员。所以看到「DNA 回收那族六个模型都 0，Opus 单次推理 213.86 美元」时，正确的读法不是「贵」，是「这 213 美元只是账单的一部分，而账单对应的是零产出」。按这个口径，目前让模型去指挥湿实验，经济上还远不成立。合格线定成「追平一个人的一次成绩」，是优点也是软肋。优点是不虚：99.06%、6.13%、一米高摔不碎，都是人真做出来的实数，不是人造的分数。软肋是单个参考值没有分布——同一个实验换个人、换一天，本来就会在一个区间里晃，于是「刚好差一点」和「根本没做对」在 0/1 判分里长得一样。这份榜适合当「能不能交活」的门槛表，不适合拿去算「比人强多少」。还有一层关系要说明白：出题的和建设施的是同一家。C5R 一边卖评测（页面上就写着「把你的模型拿来跑」），一边在自建 Facility-0。它公开了运行录像、逐条判分明细和所用公开数据集的致谢，这是可信的做法；但真实验部分每族只有一两次运行，而且除了它自己，暂时没人有第二间这样的屋子能复现——这不是指控，是读这组数时该挂在心里的权重。这和第 75 篇、第 85 篇是同一个调子。机器人那篇的结论是卡住的不是脑子是手；视觉直觉那篇是卡住的不是推理是眼睛；这一篇是卡住的不是知识是实验台的手感。三篇凑在一起指向同一句话：现在最便宜的那部分智能已经很便宜了，而贵的那部分买不到——它不在模型里，在屋子里。

科学智能体评测方法自动化实验室物理常识失败归因

去读原文 本文是原创导读，不是原文翻译——真正的细节、证据和微妙之处都在原文里。原文SciUniverse Level 1 全部结果：按 17 个任务族拆开的通过率与每题推理成本，以及物理任务的失败归类表 → 原文Facility-0 与它的实验 harness：模型怎么把一个目标变成仪器指令加一份给人的操作说明 → 原文「PCR 扩增并回收 DNA」：六个模型全部 0 分的那一族，含判分明细与每次运行的里程碑时间线 → 延伸Import AI 475：Jack Clark 把这份结果放进了「2026 年自动化科学的一连串警告」里读 →

上一篇一张书架照片问还能不能塞两本书，三个最强模型三次全错——522 道题人类 93.1，模型最高 53.6，而失败的 94% 不在推理下一篇ETH 倒了：十天里两家实验室的模型各自推翻了 3-SAT 的指数下界——而这个算法要等 n 超过 10 的一万次方，才真的比暴力枚举快

本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。篇目由编辑独立选取，来源均经人工核实。