关键词抽取方法分析及应用-计算机软件与理论专业论文.docxVIP

重庆大学硕士学位论 重庆大学硕士学位论文 目 录 PAGE PAGE IV 目 录 中文摘要I 英文摘要 II 1 绪 论 1 1.1 问题的提出及研究意义 1 1.1.1 问题的提出 1 1.1.2 研究意义 2 1.2 关键词抽取的国内外研究现状 2 1.2.1 国外研究现状 2 1.2.2 国内研究现状 4 1.3 关键词抽取存在的主要问题 4 1.3.1 文档主题的覆盖度问题 5 1.3.2 文档与关键词的词汇差异问题 5 1.4 论文的主要研究内容与章节安排 5 2 相关理论 7 2.1 基于词典的关键词分配 7 2.1.1 控制词典 7 2.2 关键词抽取 8 2.2.1 有监督的机器学习方法 8 2.2.2 无监督方法 9 2.3 自动标注 9 2.3.1 基于图的方法 10 2.3.2 基于内容的方法 11 2.4 机器学习方法 11 2.4.1 决策树 11 2.4.2 朴素贝叶斯 14 2.5 组合分类器提高分类效果 15 装袋(bagging) 16 提升(boosting) 16 2.5.3 随机森林 16 2.6 小结 17 3 基于主题特征的关键词抽取 18 3.1 主题模型 18 3.1.1 主题模型简介 18 3.1.2 Gibbs 抽样求解模型参数 20 3.2 主题特征 21 3.2.1 主题特征的含义 21 3.2.2 主题特征的计算 22 3.3 关键词抽取方案 23 3.3.1 候选词选取 23 3.3.2 过滤候选集 23 3.3.3 分类器模型 24 3.4 实验 25 3.4.1 语料及评价标准 25 3.4.2 参数设置 26 3.4.3 结果分析 27 3.5 小结 30 4 基于主题相关性的微博关键词抽取 31 4.1 微博文本的特性 31 4.1.1 不规则性 32 4.1.2 长尾现象 32 4.2 预处理与中文分词 33 4.2.1 简单过滤 33 HYPERLINK \l _TOC_250003 ICTCLAS 汉语分词系统 33 HYPERLINK \l _TOC_250002 FundanNLP 系统 33 4.3 微博关键词抽取方案 34 4.3.1 基于图的排名方法 34 HYPERLINK \l _TOC_250001 文本的图表示(Text as a Graph) 34 HYPERLINK \l _TOC_250000 主题相关的 TextRank 方法 35 4.3.4 模拟实验 37 4.4 微博关键词抽取实验 37 4.4.1 微博数据 37 4.4.2 关键词可视化 38 4.4.3 实验结果分析 39 4.5 小结 43 5 结论与展望 44 5.1 论文的主要研究结论 44 5.2 下一步研究工作的展望 44 致 谢 46 参考文献 47 附 录 52 A. 作者在攻读硕士学位期间发表的论文目录 52 B. 作者在攻读硕士学位期间参加的科研项目目录 52 重庆大学硕士学位 重庆大学硕士学位论文 1 绪论 PAGE PAGE 10 1 绪 论 1.1 问题的提出及研究意义 问题的提出 一篇文档的关键词通常是几个词或者短语，作为对该文档主要内容的提要。 关键词是人们快速了解文档内容、把握主题的重要方式。关键词广泛应用于新闻 报道、科技论文等领域，以方便人们高效地管理和检索文档。随着网络时代信息 爆炸式的增长，关键词成为用户在海量信息中检索感兴趣内容的主要工具，诞生 了如 Google、百度等基于关键词的有哪些信誉好的足球投注网站引擎公司。 进入 Web2.0 时代，许多网站向用户提供了为感兴趣的对象(如链接、图片、视 频、书籍和电影等)自由标注标签(tags)的功能，便于用户分享、管理、收藏和检索 对象。与关键词类似，大部分标签是词或者短语，常常表示用户对标注对象主题 的理解和概括。由于不同的用户都可以对同一个对象标注标签，具有较强的社会 交互性，因此又称为社会标签(social tags)。用户标注的标签汇总起来成为一个体系， 叫做大众分类法(Folksonomy)，这强调了与专家制定的分类体系(Taxonomy)之间的 差异。广义上来讲，可以将社会标签看作 Web2.0 时代的关键词。 提供的标签 (b) 科技论文中标注的关键词 图 1.1 关键词示例 Fig.1.1 Aplications for keyphrase extraction 图 1.1 给出了几个关键词示例。其中， HYPERLINK \l _bookmark0 图 1.1(a)是著名社交网站 ① 为用户展现的关键词摘要，不像传统有哪些信誉好的足球投注网站引擎那