AI系列之CPU：推理时代迎价值重估
中泰证券2026-06-1853 页
报告概述
本报告聚焦AI算力从训练向推理转型的背景下，CPU在数据中心中角色与价值的根本性变化。报告分析了推理需求规模远超训练的趋势，对比CPU与GPU在训练和推理场景中的负载差异，深入探讨CPU在指令集、核心数、内存子系统三个维度的进化，并重点剖析AI Agent时代驱动CPU需求爆发的六大机制。此外，报告从单核AI能力、核心密度、能效等六个维度对比x86与ARM阵营，给出CPU市场格局预测，最后梳理国产CPU产业链并给出投资建议。报告旨在帮助投资者理解推理时代CPU的战略地位及投资机会。
报告的核心结论
推理成为AI算力核心，CPU价值面临重估
当前70%以上算力用于训练，未来70%以上将用于推理，推理需求规模可达训练阶段的5-10倍。CPU凭借低延迟、碎片化任务处理能力，在推理场景中可完成70%以上负载，从训练时的辅助角色转变为主力，硬件配比CPU:GPU从1:8收紧至1:4甚至更低。
CPU技术三大升级使其成为AI友好型硬件
2018-2026年，CPU在指令集（引入AMX矩阵单元，单核AI算力提升24倍）、核心数（从28/32核提升至192/288核）、内存子系统（DDR5带宽和容量翻倍）三个维度协同进化，对应AI推理的矩阵运算、并发处理和内存容量需求，整体推理能力提升数百倍。
Agent AI是CPU需求爆发的核心驱动力
Agent工作负载特征与传统LLM截然不同：高频小请求、工具调用密集、长上下文、沙箱执行、多智能体编排及RAG检索等环节均依赖CPU。Agent场景下GPU利用率降至20-50%，CPU替代GPU成为性能瓶颈，每部署1块GPU需匹配远超传统推理的CPU算力。
中长期ARM将在AI数据中心挑战x86主流地位
ARM凭借能效、核心密度、与AI加速器紧耦合等结构性优势，在Agent高并发场景中表现突出。据BofA预测，ARM在服务器CPU渗透率将从2025年10%提升至2030年44%。x86短期内仍凭生态优势主导传统企业市场，但ARM正通过Hyperscaler自研和差异化生态快速追赶。
报告回答的关键问题
为什么AI推理时代CPU比训练时代更重要？
训练以大规模稠密矩阵运算为主，GPU天然适配，CPU仅承担数据搬运和调度（约10-30%负载）；而推理是碎片化、长尾化、延迟敏感的任务，CPU在Decode、稀疏计算、KV Cache管理、Embedding等多个子任务中更具竞争力，可完成70%以上运行负载，且CPU+大DDR5方案在长上下文场景性价比突出。
CPU在AI Agent时代有哪些不可替代的作用？
Agent工作负载涉及高频小请求、工具调用（代码执行、API调用等）、长上下文管理、安全沙箱隔离、多智能体编排以及RAG检索，这些环节天然依赖CPU架构，GPU因算力闲置、缺乏硬件隔离、内存容量不足等短板难以胜任。Agent场景下CPU已成为系统性能瓶颈。
ARM服务器CPU相比x86有哪些优势？
ARM在核心密度（单芯片可达256核以上）和能效（同负载下功耗降低50%以上，每瓦性能提升25-89%）方面具有架构原生优势，且通过NVLink-C2C等技术与GPU紧耦合，更适配AI推理场景。x86在单核AI算力和软件生态上暂时领先，但ARM正快速追赶。
AI数据中心CPU:GPU硬件配比未来会如何变化？
训练时代CPU:GPU配比约为1:8，推理时代收紧至1:4，Agent时代可能进一步收敛至1:1甚至更低。Intel、AMD、NVIDIA等厂商的产品路线图均指向这一趋势，市场端已出现CPU缺货涨价信号。
报告中的代表性数据
1252亿美元
服务器CPU市场规模预测
2030年，据BofA Global Research预测，2025-2030年服务器CPU收入规模由266亿美元增长至1252亿美元，CAGR约36%。
24倍
CPU单核AI算力提升幅度
2018-2023年，AMX指令集使单周期INT8乘加运算数从AVX-512的86次提升至2048次，对应AI推理加速倍数为24倍。
44%
ARM服务器CPU渗透率预测
2030年，据BofA Global Research，ARM在服务器CPU市场份额将从2025年10%提升至2030年44%，主要受Hyperscaler自研和Agent场景驱动。
以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。
完整报告包含什么
- 全球AI推理服务器市场规模历史数据与预测（2019-2030年）及不同算力结构占比变化图表，展示推理需求超越训练的趋势。
- CPU与GPU底层架构差异的详细对比表，涵盖设计哲学、指令集、内存层级、延迟容忍机制等维度。
- 训练和推理任务中CPU与GPU分工的逐环节耗时分析，量化CPU负载占比从10-30%提升至70%+的具体依据。
- CPU指令集从标量到AMX的四代演进详解，包括AVX-512、VNNI、AMX和SME2的架构与性能数据。
- Intel、AMD、ARM阵营CPU核心数演进时间线（2017-2026年）及Chiplet、E-core、3D堆叠等实现路径。
- Agent AI六大需求爆发机制的深度剖析，辅以多篇论文实测数据（GPU利用率、CPU/GPU耗时拆分、沙箱开销等）。
- x86与ARM在单核AI算力、核心密度、能效、内存子系统、软件生态、AI加速器协同六个维度的详细对比表格和测试结果。
- 全球服务器CPU市场规模、出货量、ASP预测及竞争格局（Intel/AMD/ARM份额变化）图表，含BofA预测数据。
- 国产CPU核心厂商（海光信息、华为鲲鹏、龙芯中科）的产品参数、路线图及在信创与AI领域的定位分析。
- 产业链图谱与投资建议，涵盖芯片设计、代工、封装、板卡、云厂商等环节，并列出具体可关注标的与风险提示。
本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。
