大小模型端云协同赋能人机交互.pptx

大小模型端云协同赋能人机交互张圣宇｜浙江大学2025年4月

马斯克的大胆预言：碳基生命（也就是我们人类）只是硅基生命的启动程序。随着科技的不断发展，尤其是AI领域取得的突破，以人工智能为主的硅基生命形态将会在未来成为地球上的主宰生物。2

?2007年1月9日，乔布斯发布第一代iPhone苹果手机，把iPod、电话、移动互联网设备等进行有机整合，推动了移动互联网进入了黄金发展年代。?今天大模型给人类社会诸多生产、生活模式带来一次大变革。2023年2月，英伟达创始人兼CEO黄仁勋提出随着ChatGPT为代表的大模型出现，我们已经进入“人工智能的iPhone时刻（iPhonemomentofAI）?,这一观点受到美国《财富》杂志、华尔街时报等媒体的广泛认可并转载。?DeepSeek在模型算法和工程优化方面进行了系统级创新，在2048块英伟达H800GPU（针对中国市场的低配版GPU）集群上完成训练，打破了大语言模型以大算力为核心的预期天花板，为在受限资源下探索通用人工智能开辟了新的道路。DeepSeekChatGPT

/index/hello-gpt-4o/GPT-4o

GPT-4o：Bymyeyes/index/be-my-eyes/

手机、平板、智能手表?小设备功能不简单?小设备如何搭载大模型？?大小模型协同发信息、看视频、听音乐、导航、游戏、购物移动端智能：生活的方方面面

端侧计算能力越来越强/courses/2024-fall-65940

l端云协同（Device-CloudCollaboration）：指边缘设备（如智能手机、IoT设备）模型和云侧服务器模型协同进化推断。l云侧大模型（LargeModel）：通用认知计算，拥有强大的计算能力、海量的数据、充分的知识库。l终端小模型（SmallModel）：实时感知、实时响应，运行轻量级任务，响应速度快。大小模型端云协同/courses/2024-fall-65940

l端云协同计算通过卸载部分学习任务至端侧，让端和云协同完成任务，从而发挥终端靠近用户和数据源的天然优势，降低服务延时至毫秒级，增强模型个性化精准推理能力，缓解云服务器中心负载压力，同时支持用户原始数据在设备本地处理l有效克服主流云学习范式在实时性、个性化、负载成本、隐私安全等方面的不足自动驾驶(Ganetal.)3D渲染(Lvetal.)推荐系统(Qianetal.)YuluGan,MingjiePan,RongyuZhang,etal.:Cloud-DeviceCollaborativeAdaptationtoContinualChangingEnvironmentsintheReal-World.CVPR2023:12157-12166ChengfeiLv,ChaoyueNiu,RenjieGu,etal.:Walle:AnEnd-to-End,General-Purpose,andLarge-ScaleProductionSystemforDevice-CloudCollaborativeMachineLearning.OSDI2022:249-265XufengQian,YueXu,FuyuLv,ShengyuZhang,etal.:IntelligentRequestStrategyDesigninRecommenderSystem.KDD2022:3772-3782大小模型端云协同前沿应用/courses/2024-fall-65940

大小模型端云协同≈大小模型协同+端云高效协同

基于生成的协同大模型大模型任模型意架构模参数型生成知识迁小模型1移小模型2小模