ODCC-04001-2024 边缘计算AI推理技术场景与挑战.pdf

1边缘计算Al推理技术场景与挑dmmmm

版权声明

ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，

编制单位共同享有著作权。

转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明

来源：“开放数据中心委员会ODCC”。

对于未经著作权人书面同意而实施的票。窃、复制、修改、销售、改编、汇

编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位

的配合与支持。

1边缘计算Al推理技术场景与挑战圄mmmm

编写组

项目经理E

陈共龙深圳市腾讯计算机系统有限公司

工作组长z

陈炜深圳市腾讯计算机系统有限公司

贡献专京z

李秋香

深圳市腾讯计算机系统有限公司

黄伟

北京百度网讯科技有限公司

黎正琛

北京百度网讯科技有限公司

深圳富联富挂精密工业有限公司、

郭利文

富联精密电子〈天津）有限公司

张楠

张骏英特尔

陈界函英特尔

饪f}~中国信息通信研究院

常金凤

中国信息通信研究院

II

1边缘计算Al推理技术场景与挑dmmmm

目。言

在当今快速演进的技术时代，人工智能（AI）技术已成为推动

工业、医疗和金融等领域革命性变革的核心力量。随着数据量的激

增、计算需求的日益复杂化以及AI技术向大模型、多模态方向的演

进，如何有效地部署AI模型以优化性能与成本，成为了企业和技术

开发者面临的重大挑战。本文从探讨中心云和边缘计算节点在AI推

理中的应用场景、优势、局限性出发，进一步深入分析AI推理在边

缘计算节点产品中部署时遇到的挑战以及未来的发展方向。

Ill

1边缘计算Al推理技术场景与挑战圄mmmm

目录

版权声明..I

编写组II

前言III

目录IV

-M推理场景分析．．．．．．．．．．．．．．．．．．..1

（一）中心云部署AI模型的典型场景分析.............l

1.金融风险评估场景1

2.