生成未必理解：基于扩散模型能否实现视觉世界模型.pptxVIP

生成未必理解：

基于扩散模型能否实现视觉世界模型？;

“WhatIcannotcreate,Idonotunderstand”

—RichardFeynman

“WhatIcangenerate,Idounderstand”

“WhatIcanunderstand,Idogenerate”

?;;;

5;

视觉生成模型：Diffusion系列;

RefertoZhongyuanWang,BAAI;

视频生成基模型：Open-SoraPlan，11.7kstar

ChronoMagic,NeurIPS’24

动态生成：Progressive123(ICLR’24),多模态生成Repaint123(ECCV’24)，ViewCrafter

多模态可控生成：ConsisID，生成人物ID一致性;

为了实现高分辨率长时长的视频内容生成，团队先后提出了256倍压缩的3D因果VAE、任意分辨率及时长训练、稀疏注意力计算加速、任意帧控制的图生视频模型等技术。;;;

Yu,W.,Xing,J.,Yuan,L.,Hu,W.,Li,X.,Huang,Z.,...Tian,Y*.(2024).Viewcrafter:Tamingvideodiffusionmodelsforhigh-fidelitynovelviewsynthesis.arXivpreprintarXiv:2409.02048.;

全景二维信息作为先验知识进行建模，输入视频生成模型中进行训练，构建不同视角下的3D全景世界，可用于游戏世界模拟和探索;;

15;

Sun,P.,Jiang,Y.,Chen,S.,Zhang,S.,Peng,B.,Luo,P.,Yuan,Z.(2024).AutoregressiveModelBeatsDiffusion:LlamaforScalableImageGeneration.arXivpreprintarXiv:2406.06525.;

Kondratyuk,D.,Yu,L.,Gu,X.,Lezama,J.,Huang,J.,Hornung,R.,...Jiang,L.(2023).Videopoet:Alargelanguagemodelforzero-shotvideogeneration.arXivpreprintarXiv:2312.14125.;

促进

视觉理解部分视觉生成部分

WhatIcancreate,Idounderstand!;

Team,C.(2024).Chameleon:Mixed-modalearly-fusionfoundationmodels.arXivpreprintarXiv:2405.09818.;

Chen,X.,Wu,Z.,Liu,X.,Pan,Z.,Liu,W.,Xie,Z.,...Ruan,C.(2025).Janus-pro:Unifiedmultimodalunderstandingandgenerationwithdataandmodelscaling.arXivpreprintarXiv:2501.17811.

20;

1.视觉理解和生成的Encoder是否需要统一？短期不统一，长期统一该如何将压缩和对齐做到同一个

Encoder中

2.离散还是连续？离散的话VocabularySize多大合适？

2.单纯增加VocabularySize可能比较低效，离散的基础上设计不同层次的字典作为残差补充，将

QuantizationLoss补回来？

3.理解和生成的TaskConflict、???觉和语言模态的GradientsConflict怎么办？;;

如何实现生成和理解统一的原生框架？;

Deepspeed;

如何实现生成和理解统一的原生框架？

MoE、MoH架构对于原生统一也至关重要;

如何实现生成和理解统一的原生框架？

高效注意力机制永远都很重要;

多模态CoT增强原生统一框架？

LLaVA-CoT/o1模型开源，首个视觉多模态慢思考模型;

如何实现生成和理解统一的原生框架？

争议点：统一Los