基于LDA模型的新闻话题的演化.doc

基于 LDA 模型的新闻话题的演化楚克明李芳( 上海交 基于 LDA 模型的新闻话题的演化 楚克明 李 芳 ( 上海交通大学计算机科学与工程系 上海 200240) 摘 要 新闻话题及演化的研究可以帮助人们快速了解和获取新闻内容。提出了一种挖掘新闻话题随时间变化的方法，通过话 题抽取和话题关联实现话题的演化。首先应用 LDA( Latent Dirichlet Allocation Model) 对不同时间段的文集进行话题的自动抽取，话 题数目在不同时间段是可变的; 计算相邻时间段中任意两个话题的分布距离实现话题的关联。实验结果证明该方法不但可以描述 同一个话题随时间的演化过程，还可以描述话题内容随时间的变化，反映了话题( 或子话题) 之间多对多的演化关系。 关键词 潜在狄利克雷分配模型 话题关联 话题演化 LDA MODEL-BASED NEWS TOPIC EVOLUTION Chu Keming Li Fang ( Department of Computer Science and Engineering，Shanghai Jiaotong University，Shanghai 200240，China) The study on news topic and its evolution can help people fast learn and acquire news events in reality． In this paper，we pro- Abstract pose a method to discover topic’s evolution over time and to realise topic evolution by topic extraction and topics relating． First the method applies LDA model on temporal news reports in different time periods to automatically extract news topics，the number of topics in different time periods can vary． Then it calculates the distributed distance of arbitrary two topics in adjacent time period to realise topics relevance． Ex- periment results show that the method can describe evolution process of the same topic over time effectively，and can also depict the content of news topics changing over time，reflects many-to-many evolution relations between topics ( or sub-topics) ． Keywords Latent Dirichlet allocation ( LDA) model Topic relevance Topic evolution 能演化到几个方向，例如“房 产”话 题 涉 及“旧房拆迁与土地征 用”，“房价上涨”，“经济适用房建设”等相关子话题。如果用同 一个话题在不同时间段上的变化来描述其演化，那么其内容演 化则很难体现出来。本文先抽取不同时间段上的新闻话题，然 后判断话题之间的关联，从而获知话题在内容上的变化。 LDA 模型是模拟文档生成过程的话题模型。因 为 它 可 以 很好地模拟大规模语料的语义信息，有学者将 LDA 模型引入话 题的演化研究［3 － 6］。在 相 关 研 究 中［3 － 6，10］，都假设话题的数目 在整个时间段是 不 发 生 变 化，这 是 不 合 理 的: 在不同的时间阶 段，新话题会产生，旧话题会消失，新闻报道的话题是动态变化 的，话题数目存在差异是必然的。另外，相关研究无法探测到上 文提出的话题内容迁移。因此本文假设话题数目在不同时间段 是可变的。 0 引 言 互联网已经成为人们获取新闻信息的重要渠道，其方便 快 捷的访问方式和丰富实时的资源给读者带来了极大便利。然 而，如何快捷准确地了解和跟踪一个新闻话题的发展，帮助用户 关注其感兴趣的新闻话题是本文的研究目的。 在传统 TDT 中，新闻话题被定义为一个种子事件引起的若 干相关新闻事件 的 集 合［1］。实际上新闻话题不仅仅包含具有 特定时间、