发生了什么
11月6日,OpenAI发布了名为BioBasicsBench的新基准,与专注酶设计的生物技术公司Ligo共同开发。它不考教科书问答,而是让AI智能体直接面对日常湿实验里的原始数据:电泳凝胶图、菌落平板照片、显微镜图像堆栈、测序文件、酶标仪导出表格,甚至是操作视频,然后判断实验结论是否成立、哪里出了错。
OpenAI的出发点是,真实实验常常伴随失败、模糊的图像和相互冲突的观察,而此前以论文配图为基础的基准往往过于“干净”,难以检验排错能力。
关键细节和数据
基准共100项任务,分布在五个常规领域:蛋白方法、成像与流式、定量与检测、核酸方法和分子克隆。任务由科学家用自己实验的真实数据编写,并配有专家撰写的评分细则;每项任务经过Ligo一位未参与编写的科学家内审、一位在湿实验室工作的博士级外部科学家审阅,以及最后一轮内审。数据类型里,凝胶与印迹相关任务31项,实验方案与笔记27项,表格与仪器导出20项,台面与试剂照片18项,显微成像14项。
评测覆盖GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-6.1 Sol、GPT-6 Luna和GPT-6 Astra共7个模型、37种模型与推理强度组合,每个组合在每项任务上尝试5次,总计18500条结果。在xhigh推理强度下,GPT-6 Astra的平均得分为66.7%(95%置信区间60.3%至73.1%),GPT-6.1 Sol为62.0%,GPT-5.6 Sol为43.8%,GPT-6 Luna为38.3%,GPT-5.5为35.4%。Astra每题平均输出约4704个token,明显低于GPT-5.6 Sol的9099个。
OpenAI给出了几个改进例子:面对一次细胞死活判断,GPT-5.6 Sol仅凭死细胞染料信号就判定细胞死亡,而Astra注意到另一种染料的发光窗口与之重叠,要求补充对照;在一次克隆实验中,Astra发现阴性对照平板边缘标着卡那霉素,而实验使用的是氨苄青霉素,因此否定了这块对照的可靠性。
但官方同样列出了短板:Astra会让既有假设压过对照结果,在一次菌落PCR中选错了菌落;会忽视与自己偏好解释相矛盾的显微图像;在一块平板的计数上还多数了约12%。
为什么重要
湿实验分析是“AI科学家”真正落地前绕不开的一关。如果智能体看不懂凝胶、认不出错误对照,却又能自信地给出结论,就可能把科学家引向无意义的实验。BioBasicsBench把“识别证据不足”也计入得分,比单纯比较答对率更接近实验室的真实需求。
同时,66.7%的成绩说明:模型已经能完成不少常规判读,但离“可以无人复核”仍有距离。
影响和展望
对科研团队而言,这类基准提供了一把更贴近日常的尺子,可用来决定哪些环节适合交给智能体初筛、哪些必须人工复核。对模型研发方而言,错误集中在多模态细节、对照检查和语境保持上,也指明了下一步改进的方向。
OpenAI在文末还提到,跟踪这些能力有助于理解其对生物安全与生物安保的影响。随着模型读懂实验的能力提高,如何在加速科研的同时管住风险,将是同步推进的课题。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4473.html