OpenAI 发布 BioBasicsBench:GPT‑6 Astra 在湿实验室任务 xhigh 设置下得分 66.7%
OpenAI 与酶设计公司 Ligo 发布 100 任务的湿实验室基准 BioBasicsBench。xhigh 设置下 GPT‑6 Astra 平均拿到 66.7% 的可用分数,GPT‑5.6 Sol 为 43.8%;但 OpenAI 同时列出对照判断与菌落计数等失败案例,并强调高分不等于可靠的实验室判断。
THE BRIEF
博客要点
来源:OpenAI,《Measuring how AI agents handle everyday wet-lab science》,2026-11-05。BioBasicsBench 由 OpenAI 与酶设计公司 Ligo 合作开发,含 100 个任务,覆盖蛋白方法、成像与流式细胞术、定量与测定、核酸方法、分子克隆五个方向;任务使用 Ligo 科学家自己实验产生的原始数据,每题配专家评分细则,并经过未参与命题的 Ligo 科学家内部审核、在职湿实验室博士级科学家外部审核和最终内部复核。评测覆盖 GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna、GPT‑6 Astra 七个模型,共 37 个模型与推理强度组合,每个组合在 100 个任务上尝试 5 次,合计 18,500 条结果;xhigh 设置下 GPT‑6 Astra 平均得分 66.7%(95% CI 60.3–73.1%,每题 4,704 个输出 token),GPT‑6.1 Sol 62.0%(55.6–68.4%),GPT‑5.6 Sol 43.8%(37.6–50.0%),GPT‑6 Luna 38.3%,GPT‑5.5 35.4%,GPT‑5.4 33.2%,GPT‑5.2 31.2%(每题 27,620 个 token)。来源列出的失败案例包括:菌落 PCR 泳道选择与参考答案不一致、忽略液泡对比度的相反表现、菌落计数相对参考答案多计约 12%。来源明确表示,更高的基准分数还不等于模型能在实验室作出可靠判断。
来源公告日期 ·
2026 年 11 月 5 日,OpenAI 发布 BioBasicsBench,这是与酶设计公司 Ligo 合作开发的基准,用来测量 AI 智能体处理湿实验室日常分析的能力。基准含 100 个任务,覆盖蛋白方法、成像与流式细胞术、定量与测定、核酸方法、分子克隆五个方向。关键差别在输入:不是论文中挑选的图表,而是凝胶与印迹图、菌落平板照片、显微图像栈、测序读长等原始证据。OpenAI 称,真实实验充满失败、模糊图像与矛盾观察,而这些常被论文图表过滤掉。
设计:原始证据与专家细则
任务由 Ligo 科学家用自己实验产生的数据撰写,每题配专家评分细则,并经过三道审核:未参与命题的 Ligo 科学家内部审核、一位在职湿实验室博士级科学家的外部审核,以及最终内部复核。评分按细则逐条给分,因此能区分“结论正确”与“分析部分正确”。多数任务同时考察生物知识、图像解读、错误识别与流程理解。要注意:以上是来源陈述;按细则给分意味着,基准测的是与参考解读的一致程度,而非自然界层面的唯一答案。
评测覆盖 7 个模型、37 个模型与推理强度组合,每个组合在 100 个任务上各试 5 次,共 18,500 条结果。xhigh 设置下,GPT‑6 Astra 平均获得 66.7% 的可用分数(60.3–73.1%),每题平均输出 4,704 个 token;GPT‑6.1 Sol 为 62.0%(55.6–68.4%),GPT‑5.6 Sol 为 43.8%(37.6–50.0%)。括号内为整题重采样得到的 95% 置信区间。Astra 与 GPT‑6.1 Sol 的区间大幅重叠,“Astra 优于 6.1 Sol”并不稳固;较有把握的是 Astra 明显高于 GPT‑5.6 Sol,因两段区间不重叠。
进步与失败并存的案例
来源用几个案例说明进步。在 SYTOX 与 FUN‑1 双通道成像中,GPT‑5.6 Sol 仅凭亮度把细胞判为死亡;Astra 指出两个检测窗口在 525–540 nm 重叠、亮度不足以支撑结论,并建议补充分离信号的对照。来源注明,各通道使用独立线性标尺,通道间不能做定量亮度比较。另一题中,标着“LB Kan50”的平板被当作氨苄青霉素实验的阴性对照,Astra 认出标签与实验抗生素不符,拒绝将其视为可靠对照。还有一题,细胞在显微图中时隐时现,GPT‑5.6 Sol 寻找生物学解释,Astra 认出那是不同深度的 z 栈。
这些案例也暴露失败模式。在菌落 PCR 凝胶题中,Astra 把条带正确分成两组,却把实验身份认反:它假设较大的 PCR 产物代表成功克隆,选择 4、6、7、8 泳道;参考答案依据对照比较选择 5、9、10。液泡对比度题中,它注意到对比度随焦距变化,最终仍只保留“液泡通常更暗”的概括,忽略同一视野中更亮的液泡。菌落计数题中,它未能分开相邻菌落、漏标可见菌落、把空琼脂标成菌落,净结果相对参考答案多计约 12%;接种体积与稀释度固定时,这会以相同比例抬高转化效率的估算。
边界与验证方法
作为证据,这个基准有几条边界:只有 100 个任务,全部来自单一合作方的实验数据;受测的七个模型均为 GPT 系列,基准也由 OpenAI 参与开发,来源未报告第三方独立复现;评分依赖专家细则,来源未报告评分者一致性、任务难度分布或分歧处理方式;评测是静态的,模型面对已采集的数据,而不是自己设计并执行实验;来源也未说明任务数据是否与模型训练语料重叠。
要验证“智能体能否胜任日常分析”,可在未公开的新实验数据上复测,单列“证据不足”识别的命中率与误报率,按技能标签做误差分解,并由独立实验室做前瞻性评估。token 效率是另一个观察点:Astra 每题 4,704 个 token,少于 GPT‑5.6 Sol 的 9,099,说明高分不是靠更长输出堆出来的;但来源没有价格或延迟数据,不能换算为成本优势。作者推论是,失败案例的共同点不是“看不清”,而是中间观察没有进入最终决策。若 Astra 的优势可复现且能迁移到新数据,才足以支撑“可用于日常分析”的说法。
实践清单
- 引用 66.7% 时同时注明 xhigh 设置、“可用分数”的定义与 95% 置信区间,不要表述为总体实验室能力。
- Astra 与 GPT‑6.1 Sol 的置信区间重叠,避免声称前者显著优于后者;可复述来源对 GPT‑5.6 Sol 的对比。
- 12% 是多计相对基准参考答案的比例,不是相对真实菌落总数的测量误差。
- 来源未报告评分者一致性、任务数据与训练语料的重叠情况、第三方独立复现;引用时应标注为未知。
- 把“原生多模态能力可能是关键”标注为来源作者的假设,而非已验证的因果机制。
- 复述 SYTOX/FUN‑1 案例时保留限制:通道使用独立线性强度标尺,重叠窗口的干扰量未测量。
参考来源
Token4AI 独立技术分析。文中厂商能力与本站模型可用性分别核验;实际接入范围与价格请以控制台为准。