20250320-AiDD-科技行业2024AI+研发数字峰会：基于物理条件约束的可信视觉生成大模型.pdfVIP

基于物理条件约束的可信视觉生成

大模型

朱思语复旦大学

演讲嘉宾

朱思语

复旦大学教授

复旦大学人工智能创新与产业研究院研究员，长聘正教授，博士生导师。

朱思语本科毕业于浙江大学，博士毕业于香港科技大学。在博士阶段，作

为联合创始人创立了3D视觉公司Alituzre，并后来被苹果公司收购。2017

年至2023年，在阿里云人工智能实验室担任总监。2023年起，任职于复

旦大学人工智能创新与产业研究院，担任研究员和博士生导师。朱思语的

主要研究方向包括视频和三维生成式模型，涉及基于视觉的三维和视频的

重建、生成、理解、方针和模拟。他发表了60余篇高水平会议和期刊论文，

包括CVPR、ICCV、ICLR和TPAMI等计算机视觉和机器学习领域，包括

Hallo,Champ,AnimateAnything等有一定行业影响力的视频生成大模

型。在40余个计算机视觉国际比赛和榜单上取得第一名。

Visualgenerativemodel

InputOutput

VAE:maximizevariationallowerbound

Videogenerativemethods

•Thefieldofvideogenerationhasseenrapiddevelopment,reachingseveral

milestones...

VAE:maximizevariationallowerboundGAN:Adversarialtraining

Flow-basedmodels:InvertibletransformofDiffusionmodels:GraduallyaddGaussiannoise

distributionsandthenreverse

Diffusionforvisualgeneration(1)

•DenoisingDiffusionProbabilisticModels(DDPMs)

Diffusionforvisualgeneration(2)

•StochasticDifferentialEquations(ScoreSDEs)

KeyElementsofvisualDiffusionModels

•Pixeldiffusion(originalinput)•Unet

•Latentspacediffusion•Transformer

Sora,breakthrough

•Consistency:consistencyin3Drendering,long-rangecoherence,and

objectpermanence.

•Highfidelity.

•Surprisinglength:extendedvideolengt