川海智库

报告概述

本报告由Deloitte发布，聚焦生成式AI（GenAI）带来的全新成本结构——tokenomics。报告指出，传统的TCO框架已无法应对AI非线性、不可预测的支出模式，企业需要以token为最小经济单元进行精确管理。研究对象涵盖从SaaS、API到自建AI工厂的三种消费模式，分析AI技术栈各层（计算、存储、网络、电力）对token成本的影响。报告基于Deloitte的TCO模拟模型，测试了不同使用规模、模型选择和托管方式下的成本曲线，旨在帮助企业领导者理解AI支出的驱动因素，并制定可持续的治理策略。

报告的核心结论

AI经济学需从传统的TCO转向token级精确管理。

传统TCO框架适用于线性、可预测的工作负载，而AI成本随用户采用、工作负载设计和算法复杂度非线性增长。Token作为AI的基本计算和成本单位，将基础设施选择转化为可量化的财务指标，是追踪和优化支出的核心手段。

自建AI工厂在规模下比API或云方案更具成本优势。

Deloitte的TCO模拟显示，在每年约84B tokens的转折点后，自建AI工厂的每token成本低于API和Neocloud。例如，三年累计TCO中，API方案的成本是AI工厂的两倍。大容量、可预测、延迟敏感的工作负载适合自建，而实验性、波动性负载宜采用API。

AI成本拐点出现在年消耗约84B tokens时。

模拟显示，当年token消耗低于84亿时，API模型在成本上更优；超过该阈值后，自建AI工厂的单位成本急剧下降。这一拐点为企业是否从消费转向拥有基础设施提供了量化决策依据。

FinOps和混合架构是控制AI支出飞升的关键防线。

报告强调，随着token价格下降，总消费反而因Jevons悖论上升。企业需引入FinOps实践（预算警报、标记、成本分配）和混合架构（即敏感数据在本地、弹性实验上云），结合模型优化（量化、知识蒸馏、缓存）来防止支出失控。

报告回答的关键问题

什么是AI tokenomics？

Tokenomics是将token作为AI经济的基本单元，用以跟踪、预测和优化每token成本的管理体系。与传统按计算时间或用户许可计费不同，token直接关联AI实际完成的工作量（文本、图像、音频的输入输出），使得基础设施决策与实际财务支出紧密挂钩。

AI工厂何时比API调用更划算？

根据Deloitte的TCO模型，当年token消耗量超过约84B（每年）时，自建AI工厂的单位成本低于API。此外，工作负载需具备大容量、可预测、低延迟敏感性和数据主权要求。初期实验性负载仍建议使用API，待用量稳定后再考虑迁移。

企业如何防止AI成本失控？

报告建议从三方面入手：一是选择合适规模的模型（避免用大模型处理简单任务），应用量化、知识蒸馏等技术降低基础成本；二是实施token级的监控与预算控制（如GPU利用率≥85%、设置API使用上限）；三是采用混合架构和FinOps实践，将AI支出像资本或能源一样严格管理。

AI模型选择如何影响token成本？

开源模型通常运行在自建环境，提供高控制权和低长期成本，但需前期投入；闭源模型按token收费，无前期门槛但单位成本高。例如，Mistral或Llama等开源模型适合微调专有数据，而GPT-4o等闭源模型便利性高但成本易随着使用量飙升。

报告中的代表性数据

AI工厂累计TCO约为API的50%

AI工厂与API三年TCO对比

三年模拟，Deloitte模拟显示，在一年10B tokens到三年1T tokens的典型增长路径中，API方案三年TCO是自建AI工厂的两倍，突显规模化后的成本差异。

从$0.04/百万tokens降至约$0.01/百万tokens

推断成本下降趋势

2025年至2030年，Deloitte预测平均推理token价格将从2025年的$0.04/百万降至2030年约$0.01/百万，但总支出因用量增加而继续上升，体现了Jevons悖论。

84B tokens/年

AI消费成本拐点

模拟期，当年token消耗超过84B时，自建AI工厂的每tokenTCO低于API和Neocloud，标志着从消费转向拥有的经济转折点。

以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

  • 完整的AI技术栈成本分解：报告逐一解析GPU计算、存储（如NVMe、并行文件系统）、网络（InfiniBand、NVLink）、电力（单机柜250-300kW）及设施（加固地板、液体冷却）对token成本的贡献，并附各组件在AI工厂中的占比。
  • 三种消费模式的深度对比：从SaaS（打包软件）、API（按量计费）到自建AI工厂，报告详细分析每种模式在透明度、控制权、灵活性和长期成本上的优缺点，并提供GPU消费模型对比表（图2）。
  • 基于真实场景的TCO模拟方法论：说明模型假设（如NVIDIA HGX B200、Llama 3.3 70B）、参数变量（电力成本、PUE、GPU利用率等）以及四阶段token增长情景（从10B到1T tokens）。
  • 成本优化策略库：包含模型优化（量化、修剪、知识蒸馏）、推理设计（RAG、缓存、批处理）和运营治理（GPU利用率目标85%、成本标签、预算预警）等具体行动清单。
  • 企业案例与选型框架：如何根据工作负载特征（大小、复杂性、延迟需求）选择最佳托管方案，并提供混合架构设计原则，例如敏感数据本地推理、弹性实验上云。
  • C-suite行动指南：针对CIO、CFO、CTO提出不同职责，强调AI应作为经济系统治理，建议设立跨职能FinOps团队、定期重审AI预算与ROI阈值。
  • Jevons悖论在AI中的体现：尽管token单价下降，但总支出因需求激增而膨胀。报告展示代理式AI和多步骤推理对token消耗的指数级放大效应。
  • 未来技术展望：硬件加速（年度GPU更新周期）、新模型架构（如NVIDIA NIM微服务）对TCO的潜在影响，并建议企业建立动态基础设施策略而非静态规划。

本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。

相关报告