谢春宇：多模态大模型：开放世界理解.pptxVIP

多模态大模型：开放

世界理解

谢春宇/360多模态团队负责人;;

大参数;

大数据;

o人工智能AGI，我们需要什么？

ChatGPT的发布标志着自然语言处理技术迈入了一个全新的阶段。自2022年底亮相以来，它凭借其惊人的语言生成能力，迅速成为AI领域的焦点。ChatGPT能够进行连贯、深度的对话，甚至创作诗歌、撰写文章，展现出了前所未有的创造力和理解力。这一突破不仅激发了公众对于AI技术的兴趣，还加速了科技界对通用人工智能（AGI）的研究步伐。

在教育、写作、娱乐等多个领域，ChatGPT的应用潜力正在被不断挖掘。教育工作者利用它辅助教学，作家借助它激发灵感，企业则将其融入客户服务，提高了效率与体验。同时，ChatGPT也引发了关于AI伦理、隐私保护及就业市场变革的广泛讨论，促使社会各界思考如何在享受AI??利的同时，建立相应的监管框架，确保技术的健康发展。总之，ChatGPT的出现不仅是技术上的革新，更是对人类社会未来发展路径的一次深刻启示。;

?GPT4做为新一代的GPT模型

?增加了对视觉模态输入的支持，这意味着它能够理解图像并进行相应的自然语言生成

?增加了多模态能力的GPT4也带来了应用层面的更多可能

?GPT-4V

?增强的视觉能力

?分析和理解图像内容，提供描述、识别对象，甚至解释场景

?根据图像生成创意文本格式

?翻译图像中的文本，强大的OCR能力

?GPT-4O

?具备原生多模态能力

?支持文本、音频、图像任意组合

?性能提升，更快的响应速度;

o视觉能力是通用人工智能AGI需必备的基础能力

——人类智能本身高度依赖于视觉感知;

?Vision-languagecrossmodallearning，亦称为VLP（Vision-LanguagePretrain）、VLM（Vision-LanguageModel），代表性的工作是20年OpenAI的CLIP，开启和引领了CV多模态研究的大模型时代;;

视觉-语言跨模态学习

中文图文跨模态模型R2D2

图文跨模态学习带来的基于内容的图文互检能力对于互联网有哪些信誉好的足球投注网站来说具有非常重要的落地价值，来自于360有哪些信誉好的足球投注网站的实际业务需求非常强烈。;

?双塔base+单塔head的混合模式

?专门针对数据噪声设计的momentum-updatedencoder和maskedinput+softlabel双蒸馏;

DataSize

2.5亿

1亿;;

LMM的研发回顾

?LMM=LargeMultimodalModel，之前亦称为MLLM（MultimodalLargeLanguageModel），目前也有小部分工作为了强调视觉能力将其称为LVM(LargeVisionModel)。LMM是在单文本模态的语言模型LLM基础上发展起来的研究方向，旨在解决纯文本语言模型LLM只能理解文本输入的先天缺陷，赋予大模型对多模态信息混合输入的理解和处理能力，在此基础上可以再进一步实现多模态信息的混合输出能力

?相关的研究路线主要分为两条：一条是原生多模态路线，模型设计从一开始就专门针对多模态数据进行适配设计，代表性的工作有MSRA的KOSMOS、Google的Gemeni、OpenAI的GPT-4O；另一条是单模态专家模型缝合路线，通过桥接层将预训练的视觉专家模型与预训练的语言模型链接起来，代表性的工作有23年1月Saleforce的BLIP-2，以及近期;

1305

478

406

137

580

290;

?多模态LMM的研发从22年底到现在，从整个业界的角度来观察，有着非常明显的代际更替

?第一代LMM（22年11~23年6月）的代表性工作主要包括BLIP-2,