让AI先猜湿实验结果:新基准SPU收录4207个真实实验,最强模型也只有约一半任务跑赢随机排序

给AI一组实验条件,让它在动手做实验之前先猜出哪种条件结果更好——新基准SPU把这件事量化了,结果显示最强的前沿模型离可靠预测还很远。

发生了什么

11月11日,由UniPat AI牵头的研究团队在arXiv上发布了论文《Science Prediction Universe》,推出一个专门考察AI能否“提前预测湿实验结果”的新基准SPU。量子位11月14日对其做了详细解读。

和常见的刷题式基准不同,SPU不考知识问答,而是给AI一个真实的实验设置和若干候选条件——比如同一个反应换不同溶剂、一批抗体变体换不同序列——让它按实验测得的结果把候选条件从低到高排序。这些实验的真实结果对模型是隐藏的。

论文摘要的说法很直接:如果通用人工智能要在科研能力上超过人类,就必须比人类更可靠地预测实验结果。

关键细节和数据

  • 规模:共116个任务、4207个湿实验,覆盖化学、材料科学、生物和医学四大领域、32个子领域;
  • 任务来源:100个公开任务取自85篇近期论文,由领域专家整理候选项、材料、条件和测量方式;另有16个私有任务来自四组尚未发表的合作湿实验,涉及VHH纳米抗体、反应条件、电解液和Magrolimab变体;
  • 考试条件:每次运行8小时,配8核CPU、16GiB内存和一块H20 GPU,允许联网检索、安装科研软件;评分在断网容器中进行,并自动扫描工具输出,防止模型直接查到原论文答案;
  • 评分方式:用Spearman相关系数对比预测排序与实测排序,并为每道题生成4000份随机排序,以第95百分位作为“随机水平”门槛;
  • 成绩:首轮评测覆盖12款前沿模型、13种配置(Codex与Claude Code两种框架)。论文给出的任务校正后相关系数从最低0.227到最高0.478;量子位报道中全部已评分任务平均分最高的是Claude Opus 5.5(0.486),但也只有约一半任务超过随机水平,13个配置的这一比例在34%~52%之间;
  • 算力不等于成绩:把GPT-6 Astra从中等推理强度调到最高,运行时间中位数增至4.8倍、API成本中位数增至5.3倍,但得分没有检出显著差别;各配置单次运行平均API成本从0.22美元到65.91美元不等,相差约300倍。

为什么重要

论文分析了1155条公开任务的运行轨迹、共227103次工具调用,结论是:瓶颈在于科学判断,而不是工具执行。模型之间的预测彼此高度一致(相关0.52),却和真实实验结果只有0.33的相关——它们更像是共享了一套“单调的先验直觉”,还经常去计算一些与最终结果无关的物理或化学代理量。

一个典型例子:同一个聚合反应依次换12种溶剂、按得到的聚合物质量排序,Opus 5.5在66组两两比较中排对56组,Qwen3.8只排对30组。差别在于前者关注原料混溶与催化剂相容性,后者主要按溶剂能溶解多少乙烯来排序——错误往往发生在“选用什么判断依据”这一步。

不同测量目标之间差异也极大:同一批电解液,预测离子电导率时各配置相关系数集中在0.89~0.95;换成电化学窗口,得分却落在-0.55~0.07之间,全部没有超过随机门槛。

影响和展望

过去一年,AI智能体已经能自主查文献、跑软件、连续工作数小时,但“在做实验之前判断哪个方向值得做”一直缺乏可量化的考卷。SPU把这一步变成了统一的数值,也提醒准备把AI引入实验室的团队:先在相关任务上测一测,再决定是否信任模型给出的排序。

研究团队表示,100个公开任务将以Harbor任务包形式发布,16个私有任务继续保留用于受控评测,数据集和代码已在GitHub开源。可以预见,“会用工具”之后,“会做判断”将成为科研智能体的下一道门槛。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4659.html

赞 (0)
ElevenLabs推出办公应用ElevenAI:会议纪要与语音听写合二为一,支持90多种语言,免费抢先体验已开放
上一篇 2026年11月14日 下午3:09
AI让漏洞“找得快、用得更快”:谷歌Project Zero改写披露规则,2028年起报告30天后即公开
下一篇 2026年11月15日 上午9:10

相关推荐

发表回复

登录后才能评论