多模态大语言模型领域进展分享（2024）.docx

多模态大语言模型领域进展分享

殷述康/博士在读

DataFunSummit#2024

D背景介绍

D多模态大语言模型介绍D多模态大语言模型演进

D团队相关工作介绍D未来展望

背景介绍

背景-LLM正走向多模态

·大语言模型(LLM)是近几年来最火热的方向之一

·可以解决各种传统NLP任务，如文本分类、命名实体识别等·可以做更高级的任务

·作为聊天机器人，按照要求扮演某个角色(强大的指令遵循能力)

·做高阶的推理任务，如写代码、解数学问题等(强大的推理能力，CoT进一步增强)·然而LLM存在固有的限制

·无法处理多模态的输入，导致有些任务无法做或者很难做，如根据网站截图给出源代码、理解一张表情包的含义

·无法获取更多的多模态的世界知识，如名画、名人等

背景-LLM正走向多模态

·多模态大语言模型(MLLM)的兴起

·就在近两年，工业和学术界都在积极转向多模态模型，比如OpenAI的GPT-4V、GPT-4o谷歌的Gemini-Pro

Publicly

Available/Unavailable

Fuyu-8BAoPT

MobileVLM

v*日

VaryMEGVI

SPHINXMonkey

MoE-LLaVATextMonkey

◎Qwen-VL-MaxeMobile-Agent

ImageBind-LLMDreamLLM

MMICL●XcomposerNExT-GPT

AnyMAL

Video-LLaMA23D-LLM

Kosmos-2Lynx川GPT4RoI

PengiChameleon

ODetGPTVisionLLM

O

LaVINMultiModal-GPT

PaLM-E(LLaMA-Adapter

Kosmos-1

VIMAFlamingo◎

1-3

男

x

6-7

4-5

MM1

1-3

◎2024

◎

10-12

8-9

雾OtterShikra

LLaVA

MiniGPT-4

◎

GPT-4VPointLLM

GPT-4V

PointLLMVisCPM

O黑

O

黑

LISA

◎LLaVA-MedMotionGPT

◎

AAEmu

AA

VideoChat

◎1

◎1

Gemini

Woodpecker

Video-LLaVA

LLaMA-VID

LanguageBIND

LLaVA-1.5CogVLM

Ferret

GLaMM

在短短的两年间，已有上百个模型涌现，包括大企业的闭源模型和学术社区的开源模型探索。

BLIP-2HuggingGPTLTUEmbodiedGPT

2023

2022MM-REACT电ViperGPTGPT4ToolsamPLUG-Owl

Yin,Shukang,etal.Asurveyonmultimodallargelanguagemodels.arXiv:2306.13549

背景-MLLM能做些什么

·能做传统视觉/多模态任务

Prompt:Count

Prompt:

Countthenumberofpeopleintheimage.

GPT-4V:

Thereare4peopleintheimage.

Prompt:

描述這張圖片

GPT-4V:

這張圖片是一隻小猫在草地上走路的畫面。小猫是橘色的，有蓝色的眼睛，看起來很可爱。它的身體很小，四肢畿細,正在小心翼翼地在草地上行

走。

Caption任务计数任务

CitedfromarXiv:2309.17421

Prompt:

Prompt:

Localizeeach