20250320-AiDD-人工智能行业2024AI+研发数字峰会：端侧大模型落地关键技术探索.pdfVIP

端侧大模型落地关键技术探索

黎立北京航空航天大学

演讲嘉宾

黎立

北京航空航天大学

北京航天航天大学教授，荣获2024年IEEETCSE新星奖（首位华人），2023年

ACM北京新星奖，2023年MSRRicHolt青年研究成就奖，入选澳大利亚2020

年优秀青年基金(DECRA)，曾被评为全球前三最有影响力的青年软件工程研究

人员。主要研究方向为智能软件工程和移动软件工程，累计发表高水平期刊和

会议论文150余篇，谷歌学术引用超8500次（H-index为45），荣获10项最佳

/杰出论文奖励。受邀担任中科院一区期刊（ACMComputingSurvey）编委

以及包括TOSEM、TSE、ICSE、ESEC/FSE、ASE、ISSTA在内的CCFA类期刊

和国际会议的审稿人，多次受邀在国际会议上作特邀报告。

智能手机2.0：大模型让智能手机更智能

各大手机厂商正奋力打造具有原生智能的移动操作系统

AS-IS:⼤量AI模型部署在云端，少量模型被TO-BE:核⼼场景端侧完成，⾮核⼼场景沿

嵌⼊应⽤中⽤云端⼤模型

云应用AI应用AI云

OS下层

端鸿蒙（端）

AIAI

AIAI

原生智能决原生智能

策

器

可根据应⽤请求⾃动决定是否调⽤云侧⼤模型（⽐如

隐私需求，联⽹，或者⼤概率端侧模型得不到好结果）

大模型入端势在必行，带来巨大机遇的同时也面临着诸多挑战

SE2030@FSE2024

大模型入端=大模型入端+大模型应用编程框架入端

应用市场

⑦OS智能应用智能辅助研发

(运行时感知)

编

大②小型化⑤应用编程框架

（量化、压缩）程

模