AIGC模型的量化和稀疏优化-2024全球机器学习技术大会.pdf

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

刘松伟

字节跳动ByteNN团队高级工程师

硕士毕业于浙江大学，研究领域聚焦深度学习算法的全栈优化，涵盖模型优化和N

卡推理优化。在字节跳动ByteNN团队先后负责服务端稀疏加速/LLM推理优化能力

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

建设，支持豆包视觉多模态大模型项目的推理优化。目前在ByteNN团队负责模型

优化，致力于通过推理引擎和模型层面的协同优化，降低LLM/SD模型的云端推理

成本，进一步推动AIGC模型的端侧落地。

演讲主题：

AIGC模型的量化和稀疏优化

AIGC端侧落地实践

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

稀疏和量化优化

刘松伟字节跳动ByteNN高性能计算专家

团队介绍

AIGC优化介绍

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

稀疏和量化优化

未来展望

ByteNN业务

落地产品

业务应用特效视觉直播企业办公广告音乐游戏

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

算法方向计算机视觉语音自然语言处理多模态广告推荐

操作系统