报告概述
本报告基于2025年7月CSET举办的专家研讨会，系统探讨了AI研发自动化（即利用AI加速AI研发）的现状、未来轨迹及社会影响。报告界定了AI研发自动化的概念，梳理了前沿AI公司当前实践（如使用内部模型辅助编码、实验设计等），并分析了自动化可能走向的四种模型（生产率倍增-爆炸、生产率倍增-衰减、Amdahl定律、扩大蛋糕）。报告还提出了一组跟踪指标（通用AI能力、AI研发专用基准、公司内部信号），并讨论了透明度、风险管理、计算控制等政策选项。读者可借此了解该领域的关键不确定性、预警信号及应对思路。
报告的核心结论
AI研发自动化可能成为重大战略意外源。
尽管专家对可能性有分歧，但如果AI研发高度自动化、AI能力急剧加速，可能产生极端风险。因此现在就需要准备性行动，不能等到明确迹象出现。
前沿AI公司已在使用AI加速研发，且应用在增长。
前沿模型在公开发布前常被内部用于研发，例如Anthropic的Claude Code帮助团队加速代码诊断（问题解决快3倍），研究人员使用AI生成数千个强化学习环境。这种内部使用是真实且普遍的。
专家对AI研发自动化的速度和影响力看法不一，且新证据可能不足以消除分歧。
快速进展派和缓慢停滞派基于不同假设（如瓶颈类型、任务可自动化程度），导致同一证据可被不同解读。这使得提前探测或排除“智能爆炸”场景变得困难。
需要系统性收集指标以更好理解AI研发自动化轨迹。
现有基准评估不足以测量和预测。建议发展三类指标：通用AI能力（如长时间任务完成能力）、AI研发专用基准（如从软件工程到战略领导力）、公司内部信号（如研发支出分配、就业模式）。
深思熟虑的透明度措施可改善对AI研发自动化实证信息的获取。
目前信息依赖企业自愿零散披露。新透明度要求（如欧盟AI实践准则、加州SB 53）尚未聚焦AI研发自动化指标。政策制定者可选择自愿或强制披露、公私共享等方案。
报告回答的关键问题
AI研发自动化是什么？为什么重要？
AI研发自动化指任何利用AI加速AI研发的活动，包括数据收集、算法开发、硬件设计等。它可能降低人类对研发过程的理解和控制，缩短应对快速提升的AI能力的时间，从而放大AI的社会风险，甚至导致不可逆的失控。
前沿AI公司内部如何用AI做AI研发？
当前AI主要用于辅助编码（如Claude Code加速诊断3倍）、生成训练数据、运行实验、评估模型输出（LLM-as-a-judge）。研究人员在公司内部可用最新模型提前推进研发，且AI承担任务的范围随模型升级不断扩大。
AI研发自动化是否可能导致“智能爆炸”？
存在不同模型：生产率倍增-爆炸模型认为自动化比例提升导致研发加速复合增长；而衰减模型、Amdahl定律模型则认为瓶颈（如无法自动化的任务、计算限制）会限制增长。目前无共识，但多数专家认为智能爆炸场景可能发生，需要准备。
如何跟踪AI研发自动化的进展？
建议三类指标：通用AI能力（如长时间任务、混乱任务、持续学习能力）；AI研发专用基准（从软件工程到战略领导力分阶梯评测）；公司内部信号（研发支出分配、就业模式、任务授权规模、内部与公开模型差距等）。现有数据零散，需要系统收集。
报告中的代表性数据
AI工具对代码诊断的速度提升
2025年，据Anthropic公开材料，Claude Code帮助安全工程团队分析堆栈跟踪和文档，问题诊断速度相比手动扫描提升3倍。
AI系统可完成的任务时间跨度增长趋势
截至2025年，METR跟踪的“长时间任务”能力表现呈稳定趋势线，对中期预测有用。具体数值材料未给出清晰数据点。
AI研究人员使用内部工具生成的新RL环境数量
约2025年，一名前沿AI公司员工描述，其使用内部AI工具生成了约1000个新的强化学习环境用于训练未来模型，远超个人手工能力。
以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。
完整报告包含什么
- Executive Summary：提炼五大关键发现，包括战略意外风险、当前公司实践、专家分歧、指标价值及政策选项。
- 背景与动机：阐述AI研发自动化的定义、重要性及两个风险路径（降低人类控制、缩短反应时间），并介绍智能爆炸场景。
- AI研发的现在与未来：分析AI研发的具体组成（研究科学家与工程师任务）、当前AI使用案例（编码、LLM-as-a-judge等）、四种自动化模型（爆炸、衰减、Amdahl定律、扩大蛋糕），以及从AI研发到现实世界影响的传播机制。
- 应关注的指标：分为通用AI能力（长时间任务、混乱任务、持续学习）、AI研发专用基准（阶梯式：软件工程→实验→构思→战略领导力）、公司内部信号（研发支出、就业模式、任务授权、内部模型差距等），附指标汇总表。
- 政策启示与选项：聚焦透明度措施（自愿/强制披露、公私共享、举报人保护），并讨论其他政策影响（风险管理、计算控制、情报收集、开源模型差距等）。
- 作者与致谢：列出14位作者背景及对参与者和审稿人的感谢。
本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。
