基于内容的音频与音乐分析.ppt

但是由于音乐信号的高度复杂性,即便是对一些微观的音乐元素在复杂情况下也很难达到较为理想的识别率,如复调下的音符识别等 另一方面由于实际应用的需要,我们又希望能够对一些涉及到音乐理解层面的问题进行分析和研究,如音乐情感分析等 这时采用基于数据驱动的机器学习方法就成为了一种比较自然的选择,但是单纯采用这类方法很难触及到问题的实质 * 如何提取本质特征便成为了解决问题的关键 由于计算机音乐分析与识别本身具有多学科交叉性,模式识别、信号处理等只是我们的研究工具和手段,所以如何更好地利用音乐理论自身提供的知识将会成为该研究领域的一个发展方向 * 6 其它相关工作 6.1　计算机音乐合成 所谓计算机音乐合成是指利用计算机自动生成音乐演奏或演唱中的一些特殊的效果、音色甚至具有某种风格的音乐作品 * 6.1.1　音效合成 音效合成是指利用计算机自动生成音乐演奏或演唱中的一些特殊的效果和音色 例如Meron等研究了如何通过计算机手段自动生成美声唱法中的颤音效果 他们把所谓的颤音效果建模为对某个演唱音高的调制,但是简单的串联调制合成法不能产生出自然的颤音效果 * 在他们的方法中,通过确保调制前的原始音高与调制后的颤音的相位一致,可以最小化所需的调制量从而得到更为自然的颤音效果 * 6.1.2　自动作曲 我们经常可以发现某个作曲家的作品会具有某种特殊的风格 那么有没有可能通过分析这个作曲家的大量作品,从而利用计算机来自动创作出类似的音乐作品呢? * 或者通过分析具有不同风格的大量音乐作品,从而利用计算机来生成全新风格的音乐作品呢? 这显然又是一个十分有趣和困难的问题,这样的研究工作被称为计算机自动作曲或自动创作 20世纪90年代以后,随着遗传算法和进化计算技术的迅速发展,许多学者将其应用到计算机自动作曲领域中来 * 6.2　其它工作 还有一些其他的有关计算机音乐分析与理解方面的工作 列举如下Rothman等研究了如何通过一个人的语音特性分辨此人是不是职业歌手 Fragoulis等研究了高质量的CD音乐与其它相应的低质量的、严重变形的音乐(如广播音乐)之间的匹配与识别问题 * Politis等则通过心理学的方法将不同的音乐现象与不同的色彩联系起来并绘制出“音乐图像”,他们试图通过这种方法来揭示一维音乐信号中的“隐藏维数” Iwahama等提出了一种基于MIDI音乐的网上自动推荐系统 * 7 总结与展望 从研究对象上看,由于音乐在人类社会中所占有的特殊地位,它必将成为音频处理领域中继语音之后的又一个研究热点 由于音乐是一种十分复杂的声音对象,这种复杂性无论是在形式上还是内涵上都得以充分的体现 和语音信号相比音乐还具有非语义符号性和很强的模糊性,这使得它比语音信号更具挑战性 * 从目前的研究状况和应用需求来看,在可预见的将来,基于内容的音乐自动分类和检索以及乐谱自动识别等仍将是计算机音乐分析与识别领域的主要研究方向,有关音乐理解方面的研究(比如音乐自动摘要、音乐情感分析等)也会成为重要的研究热点 此外,音频处理技术与视频处理技术相结合的视听多媒体数据分析是另一个很有前途的研究方向 * 传统的方法一般从视频信息入手去寻找线索,对视听数据进行分割,音频数据中所包含的信息没有被利用上 但是在许多情况下单纯使用视频分割方法是非常困难的,如果能将音频信息利用起来无疑可以大大提高分割效率 由于音乐在多媒体中的音频部分占有很大的比重,如果可以将音乐分析和识别的技术与视频分析技术相结合的话,那将为多媒体数据的分割、检索带来极大的便利 * 目前这个研究方向已经成为了一个研究热点,相关的文献报道也比较多 但令人遗憾的是,大多数研究成果往往只是将音频分析技术简单地用于视频分析,而没有做到和视频分析技术有机地结合起来,实现算法上的优势互补 如何将音频分析技术与视频分析技术更加完美地结合起来已经成为这个研究方向所面临的主要难题之一 * 谢谢！ 参考文献 [1]Chibelushi C C, Deravi F, Mason J S D. A review of speech-based bimodal recognition. IEEE Transactions on Multimedia,2002, 4(1): 23-37 [2] Bickerstaffe A C, Makalic E. MML classification of musicgenres//Proceedings of the Australian Conference on Artificial Intelligence. Perth, Australia, 2003: 1063-1071 [3] Lambrou T, Kudumakis P, Speller R, Sandl