- 1、本文档共30页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
生成未必理解:
基于扩散模型能否实现视觉世界模型?;
“WhatIcannotcreate,Idonotunderstand”
—RichardFeynman
“WhatIcangenerate,Idounderstand”
“WhatIcanunderstand,Idogenerate”?;;;
5;
视觉生成模型:Diffusion系列;
RefertoZhongyuanWang,BAAI;
多模态理解;
为了实现高分辨率长时长的视频内容生成,团队先后提出了256倍压缩的3D因果VAE、任意分辨率及时长训练、稀疏注意力计算加速、任意帧控制的图生视频模型等技术。;;;
Yu,W.,Xing,J.,Yuan,L.,Hu,W.,Li,X.,Huang,Z.,...Tian,Y*.(2024).Viewcrafter:Tamingvideodiffusionmodelsforhigh-fidelitynovelviewsynthesis.arXivpreprintarXiv:2409.02048.;
全景二维信息作为先验知识进行建模,输入视频生成模型中进行训练,构建不同视角下的3D全景世界,可用于游戏世界模拟和探索;;
15;
Sun,P.,Jiang,Y.,Chen,S.,Zhang,S.,Peng,B.,Luo,P.,Yuan,Z.(2024).AutoregressiveModelBeatsDiffusion:LlamaforScalableImageGeneration.arXivpreprintarXiv:2406.06525.;
Kondratyuk,D.,Yu,L.,Gu,X.,Lezama,J.,Huang,J.,Hornung,R.,...Jiang,L.(2023).Videopoet:Alargelanguagemodelforzero-shotvideogeneration.arXivpreprintarXiv:2312.14125.;
促进
视觉理解部分视觉生成部分
WhatIcancreate,Idounderstand!;
19;
20;
1.视觉理解和生成的Encoder是否需要统一?短期不统一,长期统一该如何将压缩和对齐做到同一个
Encoder中
2.离散还是连续?离散的话VocabularySize多大合适?
2.单纯增加VocabularySize可能比较低效,离散的基础上设计不同层次的字典作为残差补充,将
QuantizationLoss补回来?
3.理解和生成的TaskConflict、视觉和语言模态的GradientsConflict怎么办?;;
Chen,Liuhan,ZongjianLi,BinLin,BinZhu,QianWang,ShenghaiYuan,XingZhou,XinhuaCheng,andLiYuan*.Od-vae:Anomni-dimensionalvideocompressorfor
improvinglatentvideodiffusionmodel.arXivpreprintarXiv:2409.01199(2024).23;
Deepspeed;
Jin,Peng,BoZhu,LiYuan*,andShuichengYan*.Moe++:Acceleratingmixture-of-expertsmethodswithzero-computationexperts.arXivpreprintarXiv:2410.07348(2024).
Jin,Peng,BoZhu,LiYuan,andShuichengYan.MoH:Multi-HeadAttentionasMixture-of-HeadAttention.arXivpreprintarXiv:2410.11842(2024)
文档评论(0)