AI音乐应用产业报告-量子位智库-2024.07-24正式版.ppt

A音乐应用产业报告2024.0量子位智QbitInsig分析师丁dingqiao@

目录技术篇产业篇展望篇产品案?音乐符号模型打开AI音乐生成的大门，音频模型找到AI落地音乐应用的方式?音频路线成为研究热点，为应用爆发奠定技术基础?生成式AI改变音乐产业，简化音乐制作流程，提供音乐创作新思路?流媒体平台或成为AI音乐商业化中最确定的一方，传统的音乐工程在此轮变革中是受冲击最大的一方?数据是技术迭代和商业化过程中最关键的一环，生成音乐中对情感表达的把控是产品迭代的关键

01技术篇

AI音乐生成定义：AI音乐生成是指通过对大量音乐数据进行学习和分析，掌握音乐的基本规律和风格特征，从而创作出音乐片段或完整的音乐。?Suno音乐生成领域的「集大成者」，?谷歌发布MusicLM实现AI生成完整歌曲；发2023年1月，谷歌发布MusicLM，搭2024年3月发布V3模型展建在之前发布的语音模型AudioLM之?Udio?OpenAI发布JukeBox上关4月11日，AI音乐生成工具奠定了Transformer文生音乐?Meta入局Udio完成测试，正式上线键的基本架构；2023年6月，Meta推出AudioCraft系天工SkyMusic节?采用压缩技术让Jukebox能够列产品，包括负责生成音效的4月，昆仑万维发布基于「天工点谷歌Megenta项目处理更复杂的音乐，更好地理AudioGen，生成音乐的MusicGen以?3.0」打造的「天工SkyMusic」音乐生成进入神经网络时代解音乐文本及一个全新的压缩编码方式Encodec产品2020201620232024

AI音乐生成的基本流程数据收集数据预处理特征提取?音频文件、MIDI序列、乐谱?对收集到的音乐数据进行?提取音乐数据里的特征，或其他音乐数据预处理，包括去噪、分割、包括音高、音色、节奏、标准化等动态变化等评估和优化生成新的音乐训练阶段?对生成的音乐作品进行评估，包括主观评估生成不同类型的音乐?选择合适的模型进行训练和客观指标，如音乐理论的一致性和听觉效?包含人声的完整歌曲?模型通过不断调整内部参果的愉悦度；?背景音乐数来最小化预测误差?根据评估结果，模型会进一步的调整和优化……

两种技术路线音乐符号模型打开AI音乐生成的大门，音频模型找到AI落地音乐应用的方式符号模型的研究要早于音频模型的研究，但符号模型生成的音乐在最终效果上存在明显的机械、不自然特征，因此在应用侧难以落地。而音频路线在近两年取得了突破性进展，生成的作品更加流畅自然。因此，这条路线成为目前业内更受欢迎的一条路线。此外，音频模型路线因其生成音乐的完整性更高，且能够直接生成歌曲，对于用户来说可以做到零门槛创作，在商业化上也更具潜力。音频+音乐符号协同生成?局限音?原理算力成本高昂；频直接用海量音频数据训练模型，生音频生成的侵权风险相较于符号生成更使用深度神经网络和VAE或成大（后者学习乐理规则，前者直接模仿??可根据文本直接生成音频Transformer等方法，端到端直模乐谱生成，并且支持对已生成的成品音乐）接生成音乐型符乐谱进行自动编辑操作?案例：腾讯的「琴乐大模型」，同时支持文本生成音乐，以及乐谱生成?局限?原理号提取出音频中的各类音乐信息，如歌生成的是音乐的不同部分而非成品音生词、旋律、乐器等，并对这些信息进乐，需要通过传统的音乐制作流程，成模行标注，拆分成音乐的各个环节来生将各部分融合起来，制作成音频内容型成词、曲等

音频模型的代表音频路线成为研究热点，为应用爆发奠定技术基础MusicLM在跨模态创作和个性化音乐生成上表现出色，而MusicGen则在音乐质量和风格适应性方面具有优势。MusicLM的出现标志着音乐生成技术向更高级别的艺术创作和智能化方向发展，而MusicGen则代表了音乐生成技术在音乐制作和质量方面的进一步提升。MusicLM是一个基于Transformer架构的模型。MusicGen同样基于Transformer架构，但更侧重于生成高质量的音乐样本。MusicLM的一个显著特点是能够生成多音轨作品，生成的音乐更具艺术性MusicGen能够生成具有高度复杂性和多样性的音乐作品，同时保持音和个性化。乐的结构和风格一致性，生成的音乐听起来更加自然。结合了文本和音乐两种模态，能够实现跨模模型能够生成具有丰富和声和旋律的音乐，高质量多模态能力态的创意表达音乐生成高效生成接近专业音乐作品的水准Meta谷歌模型能够捕捉音乐序列中的长距离依赖关能够学习和模仿各种音乐风格，从而生成长距离依MusicGen风格适应性MusicLM系，生成连贯的音乐作品赖处理符合特定风格的音乐作品通过文本描述，模型能够更好地理解用户的通过优化模型结构和训练过