BioBasicsBench:AI 看实验原始数据,认出图像还不够

KevinW Lv.3 2026/11/7 11:57:28 浏览 1

读懂一张实验图片,不只要认出条带或细胞,还得知道对照组能不能支持结论。OpenAI 和 Ligo 在 11 月 6 日介绍的 BioBasicsBench,测的就是这类日常实验资料分析能力。

这套评测有 100 个任务,覆盖蛋白质方法、显微成像和流式细胞分析、定量检测、核酸方法及分子克隆。题目使用研究人员实验中产生的原始材料,例如凝胶图、菌落平板照片、显微镜图像、测序文件和仪器读数;有些任务要求回答数据不足以得出结论,而不是强行给出判断。任务由专家编写评分标准,并经过内部和外部研究人员复核。

发布方测试了 7 个模型、37 组模型与推理强度设置;每组对每题尝试 5 次。在报告的 xhigh 推理设置下,GPT-6 Astra 的平均得分为 66.7%,GPT-5.6 Sol 为 43.8%。这里的分数是按题目评分细则获得的平均分数比例,允许部分得分,不能说成“准确完成了 66.7% 的实验”,也不是在真实实验室自主操作的成功率。

报告给出的一个成功例子是:两个荧光检测通道的波段有重叠,亮度可能受到另一种染料干扰,不能仅凭发亮就认定细胞死亡;在该题中,Astra 指出了证据的歧义并要求更合适的对照。

但同一份报告也列出了失败:一次克隆结果分析中,模型看出了两组条带,却把实验身份对应反了,最终选错样本;另一道菌落计数题中,它既漏掉菌落,也把空白处标成菌落,结果高于参考计数。两例都来自发布方披露的具体题目,不代表所有实验都会这样出错。

这套测试关注的是对给定资料的分析,不是检验模型能否独立完成一整套湿实验。分数能帮助比较同一评测设置下的表现,真实项目仍需要研究人员核查原始数据、对照和最终判断。

评论 0

发表评论

登录后参与讨论

登录

暂无评论