基于自然语言处理的歌词信息挖掘.PDF

基于自然语言处理的歌词信息挖掘 郑亚斌 刘知远 孙茂松 （清华大学计算机科学与技术系，智能技术与系统国家重点实验室 北京 100084） {zhengyb06, zy-liu02}@ sms@ 摘要：我们在歌词上做了一些传统的自然语言处理相关的实验。大部分的歌曲都具有与其相 匹配的歌词，歌词也是歌曲语义上的重要表达，因此，对歌词的分析可以作为歌曲音频处理 的互补。我们利用齐夫定律对歌词语料库的字和词进行考察，实验表明，其分布符合齐夫定 律。利用向量空间模型的表示，我们可以找到比较相似的歌词集合。另一方面，我们探讨了 如何利用歌词中的时间标注信息进行进一步的分析，利用时间标注信息可以找到歌曲中重复 的片段，并且可以对歌曲的节奏进行划分，初步的实验表明，我们的方法具有一定的效果。 关键字：歌词；齐夫定律；向量空间模型；k-近邻；节奏 Information Mining of Song Lyrics Based on Natural Language Processing Techniques Zheng Yabin Liu Zhiyuan Sun Maosong （State Key Lab of Intelligent Technology and Systems, Dept. of Computer Science and Technology, Tsinghua University, BeiJing, 100084 ） Abstract: We report experiments on song lyrics based on standard natural language processing techniques. A significant amount of music songs have suited lyrics, which play a important role of the semantics of a song, therefore, analysis of lyrics may be a complement of acoustic methods. We investigate the lyrics corpus based on Zip’f Law using both character and word as a unit, results roughly obey Zip’f Law. Also, by the means of vector space model, we can find a set of lyrics that are similar to each other. Moreover, we discuss how to use the time annotation for further study; we can detect the repeated part of songs as well as categorization of rhythms. Preliminary experiment shows the effectiveness of our proposed method. Keyword: Song Lyrics; Zipf’s Law; VSM; k-NN; rhythm 1 前言 随着全球信息化进程的加快发展，Web 信息呈现出爆炸式增长的趋势，其中音频数据 占一定的比重，如何挖掘这些音频数据并使之服务于用户成为一个热门的研究方向[1, 2] 。 通过现有的有哪些信誉好的足球投注网站引擎，例如Google、Baidu 等，人们可以利用歌手或者歌曲的名称挖掘出自 己想要的音频信息，但是我们更着重于考虑类似于协作性过滤的歌曲推荐系统，例如：用户 喜欢听X ，也很有可能喜欢听Y 这首歌，X 和Y 在音频上具有某种程度的相