OpenAI发布BioBasicsBench:100项日常湿实验任务,GPT-6 Astra最高拿到66.7%

OpenAI于11月6日与酶设计公司Ligo联合发布BioBasicsBench,用100项常规湿实验分析任务衡量智能体读懂原始实验数据的能力。xhigh推理强度下,GPT-6 Astra平均拿到66.7%的可得分数,GPT-5.6 Sol为43.8%。

发生了什么

11月6日,OpenAI发布了名为BioBasicsBench的新基准,与专注酶设计的生物技术公司Ligo共同开发。它不考教科书问答,而是让AI智能体直接面对日常湿实验里的原始数据:电泳凝胶图、菌落平板照片、显微镜图像堆栈、测序文件、酶标仪导出表格,甚至是操作视频,然后判断实验结论是否成立、哪里出了错。

OpenAI的出发点是,真实实验常常伴随失败、模糊的图像和相互冲突的观察,而此前以论文配图为基础的基准往往过于“干净”,难以检验排错能力。

关键细节和数据

基准共100项任务,分布在五个常规领域:蛋白方法、成像与流式、定量与检测、核酸方法和分子克隆。任务由科学家用自己实验的真实数据编写,并配有专家撰写的评分细则;每项任务经过Ligo一位未参与编写的科学家内审、一位在湿实验室工作的博士级外部科学家审阅,以及最后一轮内审。数据类型里,凝胶与印迹相关任务31项,实验方案与笔记27项,表格与仪器导出20项,台面与试剂照片18项,显微成像14项。

评测覆盖GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-6.1 Sol、GPT-6 Luna和GPT-6 Astra共7个模型、37种模型与推理强度组合,每个组合在每项任务上尝试5次,总计18500条结果。在xhigh推理强度下,GPT-6 Astra的平均得分为66.7%(95%置信区间60.3%至73.1%),GPT-6.1 Sol为62.0%,GPT-5.6 Sol为43.8%,GPT-6 Luna为38.3%,GPT-5.5为35.4%。Astra每题平均输出约4704个token,明显低于GPT-5.6 Sol的9099个。

OpenAI给出了几个改进例子:面对一次细胞死活判断,GPT-5.6 Sol仅凭死细胞染料信号就判定细胞死亡,而Astra注意到另一种染料的发光窗口与之重叠,要求补充对照;在一次克隆实验中,Astra发现阴性对照平板边缘标着卡那霉素,而实验使用的是氨苄青霉素,因此否定了这块对照的可靠性。

但官方同样列出了短板:Astra会让既有假设压过对照结果,在一次菌落PCR中选错了菌落;会忽视与自己偏好解释相矛盾的显微图像;在一块平板的计数上还多数了约12%。

为什么重要

湿实验分析是“AI科学家”真正落地前绕不开的一关。如果智能体看不懂凝胶、认不出错误对照,却又能自信地给出结论,就可能把科学家引向无意义的实验。BioBasicsBench把“识别证据不足”也计入得分,比单纯比较答对率更接近实验室的真实需求。

同时,66.7%的成绩说明:模型已经能完成不少常规判读,但离“可以无人复核”仍有距离。

影响和展望

对科研团队而言,这类基准提供了一把更贴近日常的尺子,可用来决定哪些环节适合交给智能体初筛、哪些必须人工复核。对模型研发方而言,错误集中在多模态细节、对照检查和语境保持上,也指明了下一步改进的方向。

OpenAI在文末还提到,跟踪这些能力有助于理解其对生物安全与生物安保的影响。随着模型读懂实验的能力提高,如何在加速科研的同时管住风险,将是同步推进的课题。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4473.html

赞 (0)
苹果被曝加码Siri智能体化:先开放自家应用精细控制,第三方应用要等到明年春天
上一篇 2026年11月9日 上午9:08
Ai2开源ToyBlocks:用“机械臂加积木”的受控世界,拆开机器人学习为什么失败
下一篇 2026年11月9日 上午9:08

相关推荐

发表回复

登录后才能评论