2025中国AI Infra平台市场发展研究报告.docx

2025中国AlInfra平台市场发展研究报告

赛迪顾问股份有限公司2025年1月

I

目录

一、研究背景 1

(一)推理算力需求激增，催生企业级智算资源管理新需求1

(二)AI应用加速向企业级场景渗透，模型工具链、运营管

理组件助力降低AI应用门槛 1

(三)数据安全重要性日益凸显，AIInfra平台成为企业数智

化转型的重要底座 2

二、AIInfra平台的概念和价值 3

(一)AIInfra平台的概念 3

(二)AIInfra平台的价值 5

1.聚焦AI应用全生命周期管理 6

2.加速企业级AI应用场景挖掘 7

3.助力企业构建新型数字基础设施 8

4.推动企业数智化战略升级 9

三、AIInfra平台厂商竞合生态 10

四、中国AIInfra平台市场概况 11

(一)市场规模及预测 11

(二)市场结构分析 12

五、AIInfra平台市场驱动因素与阻碍因素分析 13

(一)人工智能发展和应用受到国家持续重视 13

Ⅱ

(二)数据隐私和安全性驱动AI应用的私有化部署 14

(三)模型评测、微调、RAG等工具不断降低企业级AI应用

门槛 14

(四)企业侧AI人才短缺一定程度限制AI应用进程 15

六、AIInfra平台市场发展趋势 16

(一)企业用户对算力资源高效管理需求不断提高 16

(二)企业级AI应用的搭建将涉及多尺寸、多类型模型深度

协同 16

(三)兼容多种主流大模型的模型服务平台更受企业用户青睐

17

(四)模型可观测性和资源可计量成为企业用户AI应用私有

化部署重点关注的方向 17

七、AIInfra平台用户案例 18

(一)媒体领域：东方明珠生成式人工智能媒体融合创新平台

18

(二)科研领域：天府绛溪实验室先进计算前沿研究中心新一

代多模态泛在智能基础平台 21

1

一、研究背景

(一)推理算力需求激增，催生企业级智算资源管理新需求

自2022年11月OpenAI发布ChatGPT以来，云厂商、人工智能企业、大模型初创企业纷纷布局开发自研大模型，在算力、算法、数据三大关键要素的协同驱动下，大模型通用泛化能力持续增强，大模型在行业领域和细分场景的应用持续扩张。相较于大模型技术创新迭代所需的预训练场景，行业应用市场的打开则带动了推理场景算力需求的爆发。对于企业级AI应用场景的构建而言，如何对AI芯片、板卡以及AI服务器等智算硬件资源实施高效管理，进而搭建起具备可用性、易用性且便于运维的智算管理平台，是企业在推进相关工作进程中所需考量的首要环节。企业应用智算硬件资源的过程中，往往面临GPU故障率高、运维难度高、异构AI芯片管理等问题挑战，催生了企业对人工智能基础设施(AIInfra)平台的新需求，通过其具备的算力管理能力以应对智算硬件资源的精准切分、有效调度、动态监测，以及提高故障检测及自愈能力等智算硬件资源管理的新需求。

(二)AI应用加速向企业级场景渗透，模型工具链、运营管理组件

助力降低AI应用门槛

随着各种模型能力的不断向上突破，各种模型在企业级场景的推理应用开始加速渗透。与模型在C端应用仅需API调用或通过简单的“拖”“拉”“拽”MaaS服务搭建应用不同，企业级AI应用场景

2

在智算资源纳管、数据工程、模型微调、RAG、应用搭建等方面往往更为复杂，企业级AI应用场景的搭建需要既懂业务又懂AI应用技术的复合型人才。但实际情况下企业IT开发人员往往缺乏对业务场景的理解，且对AI新技术尚需学习摸索；业务人员难以将业务需求与AI技术精准匹配对接，这一系列因素共同导致了企业级AI应用交付成本很高。在此背景下，企业需要私有化部署的AIInfra平台，通过其具备的模型管理能力推动各类模型在企业级场景中的快速落地，助力实现价值验证。AIInfra平台围绕模型开发应用全生命周期的模型服务工具链不断丰富，涵盖数据工程、RAG、SFT、模型评测等功能，为企业级业务人员和开发人员进行模型选型、价值验证提供便利，同时大幅降低企业AI应用的开发部署门槛，推动企业级AI应用场景的快速落地。另一方面，为了进一步推广企业级AI推理的初期应用成果，AI运营能力对企业级AI应用而言至关重要。AI