AI视频生成研究报告 2024.pptxVIP

insights

2

1.技术侧2.应用侧3.玩家格局insiqhts

大模型各模态总览：多模态发展趋势清晰，文本、图像商业化规模和

成熟度较高，AI视频生成正在迅速发展

概况关键节点代表应用成熟度

·文生图领域产生了仅次于基础模型的杀手级应用，获得了大量创作者和用户关注，成熟度仅次于文本模态

·Midjhouney已有超过2000万用户，在无投资的情况自我造血，在2023年的营收超过2亿美元

·大语言模型在文字处理上面的卓越表现开启了生成式AI的浪潮，基础模型能够基于语言进行推理是智能的重要表现

·在各个领域应用最为成熟，例如chatGPT日活用户已经突破1亿，openAI在2024年6月ARR的达到34亿美元

·2021年1月，openAI发布初代文生图模型DALL-E

·2022年8月，stableDiffusion在stability.ai的支持下

开源，推动社区在图像领域快速发展

·2023年3月，MidjourneyV5发布，迅速成为现象级应用

·目前主要是音乐生成(语音识别、克隆暂不纳入讨论),市场不如图片生成、视频生成等领域热门，比视频更加早期

·明星创业公司较少，但有加速的发展的态势

数据等资源要求较高，成熟相对文本、图像较慢

·领军企业已经做出标杆，显著加速领域发展，已出现多家视频生成领域创业公司，但商业化、产品化进展较慢

·2023年下半年，创业公司推出Runway-Gen2,stableVideoDiffusion、Pika等产品

·2024年2月，openAI发布sora引发全球关注

·2020年8月，NeRF论文发表

·2022年9月，谷歌发布DreamFusion

·2023年5月，openAI开源shape-E模型·2024年7月，Meta发布Meta3DGen

·2024年2月，suno.ai发布sunoV3

·2024年6月，stability.AI推出文生音频模型stableAudioopen

·技术路线目前尚不清晰，垂直明星创业公司较少，产品大多处于早期阶段，但正在加速发展

·视频是图像模态的进一步扩展，但由于技术复杂，对于算力、·2022年10月，Google、Meta发布Phenaki、Make-A-Video

·chatGPT

·character.AI

·Gemini

Anthropic

·stableDiffusion

Midjourney

·Dall-E3

·2018年6序，由AlecRadford主导在openAI推出GPT-1

sora

Runway

·快手可灵·Pixverse

suno

·StableAudio

信息来源：量子位智库

·Luma.AI

Meshy

3D

·

·

·

·

·

·

团+团

·检索生成主要是对现有的视

频素材根据关键词和标签进

行检索匹配，再进行相应的

拼接和排列组合

特点

·采用传统的跨模态视频检索技术，通过视频标签的或者视频语义理解的方式从数据库中的检索，再将这些素材进行剪辑、组合拼接在一起，

本质上还是键值对匹配的逻辑

·例如短视频平台的知识类视频、解说类视频，通过文本关键字在数据库中进行素材检索，然后在进行拼接组合生成

·创意空间有限，没有贡献增量素材，但成本极低，生成速度极快

1.技术侧2.应用侧3.玩家格局insiqhts

技术趋势：视频生成正在由检索生成、局部生成走向依靠自然语言提

·采用传统的计算机视觉(CV)、计算机图形学(CG)技术，但生成功能有限，主要是一些局

部的垂点功能

·例如效果生成，在现有视频上添加多种效果，如滤镜、光影、风格化、美颜特效等。也可以做局部动态化，如人物的面部表情生成、搞笑表情、爆款特效、舞蹈动作生成等

·有一定创意空间，生成部分新元素，成本低但应用的场景有限

无新增内容部分新增内容全量新增内容

信息来源：量子位智库4

示词的全量生成，生成内容更加