网站大量收购独家精品文档,联系QQ:2885784924

北京大学 -生成未必理解:基于扩散模型能否实现视觉世界模型?.pptx

北京大学 -生成未必理解:基于扩散模型能否实现视觉世界模型?.pptx

  1. 1、本文档共30页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

生成未必理解:

基于扩散模型能否实现视觉世界模型?;

“WhatIcannotcreate,Idonotunderstand”

—RichardFeynman

“WhatIcangenerate,Idounderstand”

“WhatIcanunderstand,Idogenerate”?;;;

5;

视觉生成模型:Diffusion系列;

RefertoZhongyuanWang,BAAI;

多模态理解;

为了实现高分辨率长时长的视频内容生成,团队先后提出了256倍压缩的3D因果VAE、任意分辨率及时长训练、稀疏注意力计算加速、任意帧控制的图生视频模型等技术。;;;

Yu,W.,Xing,J.,Yuan,L.,Hu,W.,Li,X.,Huang,Z.,...Tian,Y*.(2024).Viewcrafter:Tamingvideodiffusionmodelsforhigh-fidelitynovelviewsynthesis.arXivpreprintarXiv:2409.02048.;

全景二维信息作为先验知识进行建模,输入视频生成模型中进行训练,构建不同视角下的3D全景世界,可用于游戏世界模拟和探索;;

15;

Sun,P.,Jiang,Y.,Chen,S.,Zhang,S.,Peng,B.,Luo,P.,Yuan,Z.(2024).AutoregressiveModelBeatsDiffusion:LlamaforScalableImageGeneration.arXivpreprintarXiv:2406.06525.;

Kondratyuk,D.,Yu,L.,Gu,X.,Lezama,J.,Huang,J.,Hornung,R.,...Jiang,L.(2023).Videopoet:Alargelanguagemodelforzero-shotvideogeneration.arXivpreprintarXiv:2312.14125.;

促进

视觉理解部分视觉生成部分

WhatIcancreate,Idounderstand!;

19;

20;

1.视觉理解和生成的Encoder是否需要统一?短期不统一,长期统一该如何将压缩和对齐做到同一个

Encoder中

2.离散还是连续?离散的话VocabularySize多大合适?

2.单纯增加VocabularySize可能比较低效,离散的基础上设计不同层次的字典作为残差补充,将

QuantizationLoss补回来?

3.理解和生成的TaskConflict、视觉和语言模态的GradientsConflict怎么办?;;

Chen,Liuhan,ZongjianLi,BinLin,BinZhu,QianWang,ShenghaiYuan,XingZhou,XinhuaCheng,andLiYuan*.Od-vae:Anomni-dimensionalvideocompressorfor

improvinglatentvideodiffusionmodel.arXivpreprintarXiv:2409.01199(2024).23;

Deepspeed;

Jin,Peng,BoZhu,LiYuan*,andShuichengYan*.Moe++:Acceleratingmixture-of-expertsmethodswithzero-computationexperts.arXivpreprintarXiv:2410.07348(2024).

Jin,Peng,BoZhu,LiYuan,andShuichengYan.MoH:Multi-HeadAttentionasMixture-of-HeadAttention.arXivpreprintarXiv:2410.11842(2024)

文档评论(0)

沧海一粟2020 + 关注
实名认证
内容提供者

文不能提笔控萝莉,武不能骑马战人妻,入佛门则六根不净,入商道则狼性不足,想想还是做文字民工!

1亿VIP精品文档

相关文档