报告概述
本报告围绕DeepSeek与北京大学联合发布的Engram模型展开，系统分析了该模型的核心创新——条件记忆机制。该机制将静态知识检索从复杂计算中分离，通过哈希查表实现高效检索。报告详细阐述了Engram作为“第二条稀疏路线”的工程可行性，探讨了其在长上下文场景中的优势，并深入分析了该技术对AI基础设施的潜在影响，包括硬件需求结构重塑、DRAM需求变化以及CPU角色的转变。报告还评估了这一技术路径对中国大模型产业在高端显存受限背景下的积极意义，为读者理解大模型架构前沿与基础设施演进提供了有价值的视角。
报告的核心结论
Engram通过将静态知识检索分离，提升模型计算效率。
Engram将传统大模型依赖复杂计算重构的固定知识，转移至可扩展的内生记忆表进行快速检索，使主干网络能集中算力于深层推理与上下文理解，从而在等参数、等FLOPs约束下实现性能提升。
内存表扩展不线性增加计算成本，提供高效益扩展路径。
Engram每次仅检索固定数量的记忆条目，因此扩大记忆表规模不会导致计算成本线性增长，为模型能力提升提供了以较低边际成本增加记忆容量的新路径，而非单纯依赖算力堆叠。
长上下文任务中局部细节交由记忆查找，提升全局推理能力。
在长文本处理中，Engram将局部重复模式委托给记忆表，释放主干网络的注意力与计算资源，使其更专注于全局信息整合与长链条推理，从而在RULER等长文本评测中取得显著优势。
AI基础设施瓶颈可能从HBM外溢至DRAM、互联与存储。
Engram通过将大规模记忆参数卸载至主机内存，缓解了对昂贵HBM的依赖，但可能增加对DRAM容量、PCIe/CXL互联带宽及分层存储体系的需求，使系统级设计成为关键。
对中国大模型产业，Engram有助于提升单位硬件产出，加速部署。
在高端GPU显存受限条件下，Engram通过架构效率优化实现性能提升，开源代码降低产业验证门槛，有望以更少GPU显存需求达成相当性能，提升大模型商业化部署可行性。
报告回答的关键问题
Engram如何实现大模型效率提升？
Engram通过条件记忆机制将静态知识（如常见事实、固定搭配）从复杂计算中分离，利用哈希查表在O(1)时间内检索，并通过门控机制与主干网络融合，使模型将计算资源集中于推理任务，从而在等参数量下提升性能。
Engram对AI硬件需求有何影响？
Engram将大规模参数表卸载至主机内存，减少了对昂贵HBM的依赖，但可能推升对DRAM容量、PCIe/CXL互联带宽以及NVMe SSD等分层存储的需求，使CPU在数据处理中扮演更关键角色，系统级设计重要性凸显。
中国大模型产业如何受益于Engram技术？
Engram在高端GPU显存受限时，通过效率优化提升单位硬件产出，且DeepSeek已开源代码，降低产业验证门槛。在国内政企私有化部署等成本敏感场景中，以更低显存需求实现相当性能，有助于加速大模型商业化推广。
长上下文场景为何是Engram的关键优势？
长文本中模型需兼顾局部细节与全局整合，传统方法中局部模式占用大量计算资源。Engram将这些模式交由记忆表快速检索，释放主干网络聚焦全局线索，因此在长文本检索与推理任务中表现突出，且训练效率更高。
报告中的代表性数据
推理吞吐损失
2026年1月论文实验，在NVIDIA H800上，即使将100B参数的Engram层完全卸载至主机内存，吞吐损失控制在3%以内：4B密集模型从9031.62 tok/s降至8858.28 tok/s，8B密集模型从6315.52 tok/s降至6140.02 tok/s。
预训练计算量节省
2026年1月论文实验，在长上下文扩展实验中，Engram-27B模型仅消耗约82%的基线预训练计算量（41k vs. 50k）即达到相当困惑度水平，并在RULER任务上准确率更高。
以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。
完整报告包含什么
- Engram模型架构详解：包含条件记忆模块与主干网络融合的设计原理，以及哈希查表与门控机制的具体实现方式，帮助读者深入理解模型内部工作机制。
- 实验对比数据：涵盖MMLU、BBH、HumanEval、MATH等基准测试的详细评分，展示Engram-27B与MoE-27B在等参数、等FLOPs约束下的系统性能提升。
- 长上下文任务评测：来自RULER等基准的子任务准确率数据，直观说明Engram在长文本检索与推理方面的优势。
- 系统实现与工程验证：包括端到端吞吐测试结果（如4B/8B模型在H800上的吞吐对比），验证将大规模记忆表卸载至主机内存的可行性及性能影响。
- 稀疏性分配实验：揭示参数从主干网络向条件记忆模块转移时的性能U形变化曲线，并提供20%容量替代的量化参考。
- 基础设施影响分析：从硬件需求结构、DRAM需求弹性、互联与存储分层体系等角度，讨论Engram对AI系统架构的潜在重塑。
- 风险提示：报告末尾列出竞争加剧、供应链风险、算力成本与商业化变现不及预期等风险因素，供投资决策参考。
本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。
