视频内容生成方法研究综述 (上).pdf

博士专栏︱

DoctoralColumn

视频内容生成方法研究综述（上）

文/ 国家广播电视总局广播电视科学研究院 薛子育 刘庆同

 南开大学计算机学院 周康能

摘要：

视频内容生成是人工智能领域的一个重要研究方向，具有广泛的应用场景。随着生成式人工智能技术的不断进步，视频内容生成和再

造的难度和成本大幅降低，同时也为视听行业发展注入了更多活力。广播电视和网络视听行业是视频内容生成技术的重要应用领域，拥有

海量的视频素材和多样的后期需求。视频内容生成技术可以为特效、演播厅、虚拟数字人等的生成和制作提供新的思路和手段，提高视频

制作的效率和质量，丰富视频内容的表现形式和风格。本文立足视听行业的发展现状和需求，对视频内容生成技术的主要任务、发展历程、

典型方法、风险挑战和未来趋势等进行了系统的研究综述，旨在为该领域的研究者和使用者提供全面的参考。

关键词：

视频内容生成；生成式人工智能；广播电视和网络视听；人工智能

随着人工智能技术的发展，视频内容的生成和重塑成为典型的研究方向。随着生成式人工智能技术的不断进

步，视频内容生成呈现出低成本、高质量的发展趋势，为视频内容的制作开辟了新的途径。广播电视和网络视听行

业拥有海量的媒体资源，内容后期制作的需求迫切，需要更加便捷和经济的解决方案。

2019年，国家广播电视总局发布的《广播电视和网络视听“十四五”科技发展规划》提出了主要任务，包括

深化5G、物联网、云计算、人工智能、大数据、区块链等新一代信息技术在广播电视和网络视听领域的应用，打

造即时可取的大众化、个性化新视听业态，提升广电行业综合服务能力，扩大服务新版图。在政策和市场的双重驱

动下，视听行业的人工智能技术得到了快速发展和落地，在内容制作播出、分发传输、安全监管等领域实现了应

用。尤其是在内容制作方面，虚拟数字人、虚拟演播厅等技术已经在视频内容中展现出优异的效果。

基于此，本文立足视听行业的发展现状和需求，系统地阐述了视频内容生成技术的主要任务、发展历程、典型

方法、风险挑战和未来趋势，旨在为该领域的研究者和使用者提供全面的参考。

42影视制作

博士专栏︱

DoctoralColumn

1.主要研究任务

1.1行业应用

视频内容生成方法是一种

利用人工智能技术，根据文本、

图像或视频等提示内容的输

入，自动生成新视频或对已有

视频进行细节修改的方法，在

视听行业的应用逐渐增多。视

频内容生成方法在行业应用的

流程如图1所示，步骤如下。图1视频内容生成方法在行业应用的流程

（1）确定内容制作需求：

根据视频的主题、风格、场景等要求，确定视频时长、入库处理。行业数据集和提示工程集可以用于开展下一

分辨率、音频、字幕等内容制作需求。轮的模型训练升级。

（2）生成视频内容：根据内容制作需求，选择合适

1.2行业垂直领域模型研发和应用

的视频内容生成方法，例如文本生成视频、图片生成视

频、视频生成视频等。可以利用提示工程集，输入相应人工智能模型的开发过程可以分为研发阶段和行

的提示内容，使用人工智能模型生成视频内容。其中，业垂直领域应用阶段，如图2所示。

人工智能模型需要预先训练和测试。在模型研发阶段，主要包括数据准备、模型设计、

（3）人工检查和调整：对生成的视频内容进行人工模型训练和测试等过程。其中，数据准备包括数据采集

检查，评估视频的质量、真实性、一致性等，可以对待和清洗、数据标注和划分。数据采集和清洗是为了获取

调整内容进行人工调整或返回人工智能模型进行重新高质量的原始数据，去除噪声和