报告概述
本报告聚焦英伟达推出的上下文记忆存储平台ICMS，该平台面向AI Agent与多轮推理场景，通过将不断累积的KVCache从HBM外溢至DRAM、SSD等分层介质，实现长期上下文的低成本承载与低延迟回填。报告重点分析了ICMS对SSD的使用效果，基于WEKA性能评估数据，对比了不同存储方案在大用户池阶段的token吞吐表现，并参考vastdata测算了十万用户规模下的上下文存储需求。报告旨在揭示AI记忆从“费用项”向“资产项”转变过程中，存储基础设施的价值重估与市场空间。
报告的核心结论
ICMS使SSD成为AI推理长期上下文的优选介质
NVIDIA推出的ICMS平台将Agent多轮推理中累积的KVCache分层存储至SSD，相比仅用DRAM或POSIX文件系统，在大用户池场景下token吞吐可提升最高约4倍。SSD兼具经济性与扩展性，单位成本显著低于GPU内存，且能按TB/PB级容量扩展，是承载长期上下文记忆层的天然选择。
AI记忆正从费用项转变为资产项
随着AI Agent和多轮推理对上下文连续性的要求提升，KVCache的长期留存与复用成为关键。报告认为，AI记忆的价值不再仅是推理时的开销，而是能够持续扩展模型能力边界、加速应用落地的底层资产，这将带动上游存储基础设施价值量和重要性的提升。
十万用户级Agent应用对上下文存储需求达PB级
基于Llama 3.1 405B模型参数和典型上下文窗口大小（128K tokens）测算，若同时在线10万用户或Agent，考虑15倍留存倍数，所需上下文存储规模约为45PB。这一测算表明，大规模AI推理场景将催生PB级存储市场，为SSD及相关存储技术带来新增长空间。
报告回答的关键问题
英伟达ICMS平台解决了什么问题？
ICMS平台解决了AI Agent和多轮推理中KVCache持续累积导致的GPU HBM容量不足问题。它将KVCache分层存储至DRAM、SSD等介质，提供长期上下文记忆层，既支持更大规模缓存，又能低延迟回填历史上下文以维持多回合会话，同时降低TTFT（首词生成时间）约束下的高并发随机读取压力。
SSD在AI推理中扮演什么角色？
SSD成为AI推理中长期上下文记忆层的核心介质。相比GPU HBM和池化DRAM，SSD单位成本更低，容量可扩展至PB级。报告通过WEKA性能测试证明，在大用户池场景下，基于SSD的ICMS方案（如WEKA AMG）能维持更高且更稳定的token吞吐，延迟仅比DRAM略高，是性价比最优的长期上下文存储方案。
AI Agent对存储系统提出了哪些新要求？
AI Agent要求存储系统具备高并发、高吞吐的随机读取能力，以在低TTFT约束下快速预取和回填历史KVCache。同时，存储容量需达到PB级以支持大量用户或Agent同时在线，并支持分层架构以实现成本与性能的平衡。报告指出，ICMS的存储访问模式与传统文件系统不同，需要专门的解决方案（如WEKA AMG）来优化随机IO性能。
报告中的代表性数据
上下文存储需求规模
假设10万用户，Llama 3.1 405B模型，上下文窗口128K tokens，留存倍数15倍，基于vastdata测算方法，单个token存储空间约504KB，每个用户窗口约61GB，留存倍数15倍时，总存储需求约45PB。
ICMS方案吞吐提升倍数
大用户池阶段，WEKA AMG方案对比HBM+DRAM与HBM+DRAM+POSIX方案，在WEKA性能评估中，随着用户池扩大，KVCache外溢后，HBM+WEKA AMG的token吞吐相比另外两种方案提升可达约4倍，验证了ICMS在维持吞吐稳定性上的优势。
以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。
完整报告包含什么
- ICMS架构深度解析：详细描述了NVIDIA Rubin平台内推理上下文存储架构的组成、KV访问模式以及ICMS的运行机制，配合架构图帮助读者理解分层存储如何实现长期上下文记忆。
- 性能评估实证数据：基于《Context Memory Storage Systems》论文的实测结果，展示ICMS引入PB级存储层后的延迟对比，以及不同用户池规模下HBM+WEKA AMG、HBM+DRAM、HBM+DRAM+POSIX方案的token吞吐变化曲线。
- 存储空间测算模型：给出单个token存储空间、用户上下文窗口所需存储、留存倍数等参数假设，并推算出不同用户规模（如1万、10万、100万）对应的总存储需求，提供可调整的测算框架。
- 应用场景示例：详细列出高价值用户回访、RAG工作流程两类典型场景，说明上下文记忆层如何实现缓存命中与性能优化，帮助读者理解实际业务价值。
- ICMS成本与功耗分析：通过对比ICMS方案与传统服务器方案在x86硬件成本与功耗上的差异，论证ICMS的经济性，并配以图表说明。
- 投资建议与相关标的：围绕AI记忆向资产项转变的趋势，提出产业链核心受益逻辑，并列出澜起科技、聚辰股份、兆易创新、中微公司、拓荆科技、北方华创等公司的估值与财务分析表。
- 风险提示：包含AI产业发展及需求不及预期、AI服务器出货量不及预期、国产厂商技术和产品进展不及预期三大风险，并逐一解释。
本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。
