SORA视频生成原理剖析.pptxVIP

ZOMI

SORATalkOverview官网解读：SORA效果预览技术报告解读技术架构：SORA关键技术方向训练流程一些思考：算力规模增长市场预测

SORA解读

省流总结内容上：最大支持60秒高保真视频生成，支持短视频前后扩展，即可保持视频连续，并扩展时长；支持基于视频+文本视频编辑，一句话改变原视频，彻底改变视频创作方式；技术上：将视频压缩为空间时间块（Spacetimepatches），使用diffusion-transformer结构建模；由于将视频信息压缩为spacetimepatches，因此可支持不同尺寸、时间、分辨率的直接生成；数据工程：使用DALL·E3细粒度视频文本标注；GPT4训练LLM模型，将简短提示词，扩充为复杂细节文本；其他：物理交互的细节仍有缺陷，如玻璃破碎与水流，雪地脚印无法生成；没有物理引擎，猜测训练数据采集可能使用到相关素材；/research/video-generation-models-as-world-simulators

SORA技术架构

相关技术架构

模型结构其模型结构可以表示：DiT=[VAEencoder+ViT+DDPM+VAEdecoder]待补充

模型训练流程其模型结构可以表示：DiT=[VAEencoder+ViT+DDPM+VAEdecoder]待补充

Diffusion模型训练基于扩散模型DiffusionModel基于DiffusionTransformer

模型训练：扩散模型DiffusionModel1

模型训练：扩散模型DiffusionModel1

模型训练：扩散模型DiffusionModel1

模型训练：基于扩散模型SD/SDXL1

模型训练：基于扩散模型的主干U-NetU-Net网络模型结构把模型规模限定；SD/SDXL作为经典网络只公布了推理和微调；国内主要基于SD/SDXL进行二次创作；1

模型训练：基于DiffusionTransformer1

模型训练：大模型ScalingLaw扩大视频生成模型参数规模，迈向创建能够模拟物理世界的通用工具有前途的一步。1

模型训练：大模型ScalingLaw1

网络结构：VisionTransformer，ViT2

网络结构：DiffusionTransformer，DiT2

网络结构：DALLE2将文本提示输入文本编码器，该训练过的编码器便将文本提示映射到表示空间；先验模型将文本编码映射到图像编码，图像编码捕获文本编码中的语义信息；图像解码模型随机生成一幅从视觉上表现该语义信息的图像；2

网络结构：CLIPDALL-E2中文本语义和与其相对的视觉图片之间的联系，由OpenAI模型CLIP（Contrastive?Language-Image?Pre-training）学习得到。2

网络结构：CLIPCLIP接受~亿对图片-文字数据训练，学习到给定文本与图像的关系；CLIP并不是试图预测给定图像对应文字说明，而是学习给定文本与图像之间的关联；2

网络结构：CLIP图像及文本通过各自编码器，映射到m维空间；计算每个图像，文本对的cos值相似度；训练使正确编码图像，文本间cos值相似度最大化；2

技术总结力增强对视频生成质量的提升具有明确意义、②数据集的设计和优化（例如长宽比像素等）、③更详尽优质的视频文本描述（训练视频文本描述模型来生成简短而详尽的文本+GPT扩展详细描述）都是重要因素。

思考总结

思考点算力：对算力需求增长如何？如LLM在服务器形态爆发？推理生产应用端爆发增长？厂商：对国产芯片和厂商带来哪些思考？需要快速复现跟进？应用：哪些科技公司受益？哪些科技公司会持续跟进？市场会有哪些新的变化？个人：AI行业变化如此之快，个人应该如何转型和抓住时代机遇？

思考点1：算力需求增长对算力需求增长如何？如LLM在服务器形态爆发？推理生产应用端爆发增长？SORA模型参数量预计10B，模型参数量不会像LLM需要千卡/万卡大规模AI集群训练（~百卡）；DALL·E3视频文本标注数据有限（30B），训练数据不像LLM可以无监督学习；OpenAI尚未公布SORA商业化时间，视频生成距离成熟还有时间距离（半年）；技术上输入内容控制一致性等问题仍需解决，推理算力全面爆发仍然有时间差（半年）；目前推理算力比SD、SDXL要大2/3个量级，需要结合AI训练集群或者AI推理集群；

思考点2：对厂商的挑战对国产芯片和厂商带来哪些思考？需要快速复现跟进？视频生成不像LLM已经统一范式，视