陆天明-构建企业级高性能模型推理平台.pdf

ML-Summit2024

全球机器学习技术大会

MachineLearningSummit

2024年4月25-26日·上海

主办方：

合作伙伴：

2024技术会议一技术人的思想盛宴

全球机器学习全球软件研发全球产品经理全球C++及系

技术大会技术大会大会统软件技术大会

ML-Summit2024SDCon2024PM-summit2024CPP-Summit2024

9月5-6日北京7月4-5日北京8月8-9日北京10月17-18日深圳

12月5-6日深圳11月7-8日上海

媒体服务一多形态的技术内容

媒体服务

访谈新闻稿件产品解读产品评测客户案例活动整理专题

权威出版

《新程序员》

聚集全球技术大师、行业技术先锋，从前沿技术到行业先锋，

为您带来全方位的深刻洞见和专业解读。

《中国开发者调查报告》

中国样本丰富的开发者调

查报告，目前已成为完整

准确了解中国开发者市场

的重要参考资料。扫码购买必威体育精装版

版程序员杂志

ML-Summit2023

陆天明eBayAI平台部研发工程师

毕业于南京大学，多年大数据、AI相关研发经验。现任职于eBayAI平台

部，先后参与了统一特征服务、模型编排优化、模型部署流程优化、模型

服务性能优化等相关研发工作。目前主要负责提升模型服务计算资源使用

率方面的相关工作。致力于提升AI模型服务的效率和性能，提供企业级的

高性能模型推理平台。

演讲主题：

构建企业级高性能模型推理平台

构建企业级高性能模型推理平台

陆天明，eBay

推理平台的挑战

模型部署流程标准化

推理服务优化

资源优化

PART推理平台的挑战

1

背景

AI应用不断增长

OnesingleAIusecaseinvolvesmultiplemodels

●Objectdetection

●OCR

●Imageembedding