报告概述

本报告由IDC制作,面向技术买家,系统分析企业如何从概念验证阶段顺利过渡到规模化生产阶段所需的AI就绪基础设施战略。报告聚焦生成式AI(GenAI)和代理式AI工作负载带来的基础设施变革需求,涵盖计算、存储、网络等关键要素,并探讨性能、安全、合规、成本和可持续发展等多维度考量。通过全球企业调研和IDC分析框架,报告为企业提供部署位置选择、模型匹配、运营模式优化及AI卓越中心治理等实用指导,旨在帮助读者避免常见陷阱,加速AI项目成功落地。

报告的核心结论

AI工作负载将成为企业基础设施投资的首要驱动力

报告指出,未来两年AI工作负载的增长将对企业计算和存储资源利用产生最大影响(65%的受访企业认同),远超过数据管理、自动化等传统因素。企业需将AI基础设施作为战略重点进行投资和变革。

AI项目从概念验证到规模化生产面临基础设施认知不足的挑战

许多AI项目失败是因为对应用层和数据层的基础设施要求缺乏了解,包括计算容量不足、数据摄取能力不足、硬件不合适、集成复杂等问题。企业必须在项目初期就全面评估各阶段的基础设施需求。

AI基础设施战略必须与使用场景和模型选择相匹配

不同AI场景和模型对计算、存储、延迟、数据主权等要求差异很大,一刀切的基础设施策略效率低且成本高。企业需根据模型大小(从百万到万亿参数)、数据量(GB到PB)、精度和紧迫性等选择专用或共享平台。

安全、成本、连接性和合规是部署决策的核心标准

报告显示,网络安全和韧性(60%)、基础设施成本(52%)、网络连接成本(46%)、数据主权与合规(45%)是企业决定AI应用部署位置(本地、托管、边缘或公有云)时最重要的考量因素。

AI卓越中心是确保企业级AI就绪的关键治理机制

报告建议成立AI卓越中心,由专家小组制定决策框架和部署指南,协调IT、业务部门和数据团队,打通跨场景的数据和工作流集成,共享经验教训,从而加速AI落地并降低风险。

报告回答的关键问题

企业如何从AI概念验证顺利过渡到规模化生产?

报告建议根据生产规模要求设计概念验证,包括明确POC期望、评估最低可接受能力、规划生产途径。同时需评估潜在效益(成本、效率、用户体验)和复杂性障碍,并制定包含KPI和ROI跟踪的投产路线图。

AI基础设施决策需要考虑哪些关键因素?

报告指出,企业需综合考虑性能(计算、存储、网络)、安全与合规(数据保护、AI监管)、成本管理(按需付费与专用资产的权衡)以及可持续发展(能源和冷却需求)。部署位置的选择还受数据主权、连接性和技能可用性影响。

生成式和代理式AI对基础设施有哪些不同要求?

生成式AI和代理式AI工作负载在模型规模、推理延迟、数据吞吐量等方面存在差异。报告强调必须根据具体场景匹配基础设施,例如实时交互需低延迟高性能,而批处理可容忍较高延迟。企业应制定动态的模型更新和迁移计划。

为什么很多AI项目会失败?

报告列举了多项失败原因,包括处理能力瓶颈、硬件不合适、数据摄取能力不足、延迟问题、集成复杂度高、基础设施堆栈不完整、加速器可扩展性差、计算容量不足、模型过大或过复杂、成本管理不善以及安全防护不足等。

报告中的代表性数据

65%

AI工作负载对基础设施投资影响力

未来两年,65%的受访企业认为AI工作负载的增长将对计算和存储资源利用产生最大影响。来源:IDC Worldwide Digital Infrastructure Sentiment Survey,2024年6月,n=1,129。

85%

企业认为GenAI是重要新型企业工作负载的比例

2024年4月,85%的全球企业一致认为GenAI是一项重要的新型企业工作负载,与ERP和电子商务同等重要。来源:IDC Future Enterprise Resiliency & Spending Survey Wave 4,2024年4月,n=889。

4.60美元

AI投资的经济乘数效应

预计到2030年,预计到2030年,AI采用者在AI解决方案和服务上每花一美元,就会为经济带来4.60美元的间接和诱导效应。来源:IDC Macroeconomic Center of Excellence,2024。

以上数据根据报告摘要整理,具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

  • 完整报告包含企业基础设施投资趋势调研数据:显示AI工作负载是未来两年最大驱动力,并对比数据管理、OT自动化等趋势的影响。
  • 报告详细分析了AI项目失败的关键原因,包括计算、数据、集成、安全等12个具体障碍,并配以图解说明。
  • 包含全球企业关于GenAI工作负载重要性的调研数据(85%受访企业认同),以及AI基础设施需考虑的性能、安全、成本、可持续发展四维度框架。
  • 提供了AI模型选择的权衡框架:从利用现有模型到创建私有模型,涵盖成本、复杂性、数据隐私、准确性等六大影响因素。
  • 详细阐述了不同AI场景对基础设施的差异化要求,包括模型规模、数据量、延迟、定制化级别等关键参数。
  • 包含部署决策标准调研数据:网络安全(60%)、成本(52%)、连接性(46%)、数据主权(45%)等,并提供专用/共享数据与计算的政策框架。
  • 比较了四种运营模式(传统本地部署、托管、专用基础设施即服务、共享公有云)下的责任划分矩阵,帮助读者选择部署方式。
  • 介绍了AI卓越中心(CoE)的组建指南及其在业务就绪、IT就绪、模型、数据、可持续发展等方面的具体职能。
  • 提供了从概念验证到生产的路由框架:分阶段评估价值、可行性、治理,并给出路线图制定方法。
  • 结尾附有AI就绪型基础设施成功清单,以及未来两年最具战略意义的IT基础设施投资调研(AI优化基础设施58%、ITOps自动化52%等)。

本页内容由川海智库整理,用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限,部分观点、数据、统计口径或表述可能存在偏差,具体内容请以完整报告原文为准。

相关报告