Bridging the Digital to Physical Divide: Evaluating LLM Agents on Benchtop DNA Acquisition

报告概述

报告聚焦于评估大型语言模型（LLM）代理在数字到物理过渡中的能力，以DNA获取作为生物武器风险链的关键瓶颈。研究测试了来自OpenAI、Anthropic和Google的8个前沿模型，在ReAct代理框架下执行台式DNA合成任务。任务要求代理设计DNA寡核苷酸、与模拟合成器交互并生成实验室方案。评分采用分段标准，包括序列正确性、PCA所需的反向互补、限制性酶切位点和终止密码子。报告还包含一项物理验证，证明o3代理设计的序列可成功表达功能性蛋白。

报告的核心结论

报告回答的关键问题

报告中的代表性数据

以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

• 完整任务设计理念与威胁模型：详细阐述了基于生物武器风险链的评估设计哲学，包括数字到物理过渡的瓶颈分析、非专家恶意行为者威胁场景的构建，以及任务如何映射到实际风险。
• LLM agent评估方法论：深入介绍了任务型agent评估在更广泛评估生态中的定位，包括知识基准、受控研究/提升试验和能力基准的分类，以及ReAct代理框架的配置细节。
• 分段评分系统与自动评分器设计：包含基于规则的DNA片段评分五大标准（API调用、序列编码、反向互补交替、限制性位点、终止密码子），以及基于LLM的转录本自动评分器和协议自动评分器的提示词模板。
• 实验执行与参数配置：提供了8个前沿模型的完整测试参数（模型ID、消息限制、推理预算、温度设置），以及三批测试的时间线和工具集差异说明。
• 逐模型详细性能分析：附录D以叙事方式展示了每个模型在eGFP和流感HA任务上的行为模式、失败类型和成功轨迹，包含额外的热力图和案例分析。
• 物理验证实验完整步骤：附录C详细记录了o3代理设计序列的实验室合成、组装、克隆和表达全过程，包括o3生成的原始协议、研究伙伴的注释修改、产量比较和菌落计数数据。
• Biomni专用agent测试结果：附录E报告了在Biomni生物医学代理框架上执行的附加测试，包括与标准ReAct代理的性能对比和独特的失败模式。
• 限制与未来工作方向：明确讨论了评估在生物学方面、任务实现方面和自动评分方面的局限性，并提出扩展病原体种类、增加风险链覆盖率和系统化物理验证等后续建议。