基于多特征和Ranking SVM的微博新闻自动摘要研究.pdf

!第 # 卷第 $ 期 郑 州 大 学 学 报! 理 学 版 %’(# )($ ! $*+, 年 - 月 ./012345167389/! ):;/=8/?/ .63($*+, 基于多特征和 -5M25S;@L 的微博 新闻自动摘要研究 李孟爽!!昝红英!!贾会贞 ! 郑州大学 信息工程学院!河南 郑州 M***+ 摘要! 提出了面向微博应用的新闻文本自动摘要研究方法/利用互信息对新闻文本中词语和句子之间的语义特征 进行计算$根据其关联度对句 子 进 行 主 题 划 分$赋 予 主 题 句 较 高 的 权 重$同 时 从 文 本 中 抽 取 多 种 组 合 特 征$利 用 S:3_834%Z对句子进行排序$从而得到自动摘要/在 )TapHH$*+M 面向微博中文新闻自动摘要评测数据集上进行 对比实验$取得了良好效果$证明该方法的有效性/ 关键词! 互信息 语义特征 主题句 S:3_834%Z 新闻文本自动摘要 中图分类号! XaA#+!!!!!文献标志码! N!!!!!文章编号! +-,+@-G+!$*+,*$@**A@*M ’()! +*(+A,*MOD/8FF3/+-,+@-G+($*+-$A# *+引言 文献(+) 显示$截至 $*+M 年 , 月$中国网民微博用户规模达 $(* 亿$手机微博用户规模达 +(-$ 亿/当社 会媒体用户需通过这个平台转发自己喜欢的新闻时$微博允许用户发布的文本长度一般不能超过 +* 字$用 户发布该新闻的简要内容$然后附上整条新闻的 7ST链接/这样在方便发布者的同时也节省他人时间/因 此$针对微博新闻文本的自动摘要研究具有深远的意义/本文提出了基于多特征和 S:3_834%Z的自动摘要 方法$具体过程为% + 对原始文本进行预处理$除去不会作为摘要句的疑问句和否定句/ $ 抽取文本的词频’句子位置’与标题相似度’指示性词语及句子长度等统计特征/ A 利用互信息抽取文本的语义特征$对其进行主题划分$赋予主题句较高的权重/ 综合文本的统计特征和语义特征$利用训练数据训练 S:3_834%Z 模型$然后用得到的模型对句子 进行排序/ M 选出得分最高的句子加入摘要句$如果所选句子与摘要句相似则移除$直至摘要句长度 +* 字停止/ ,+相关工作 自动摘要是指自动地从原始文章中提取一个简短的能够全面反映原文内容的摘要/自动摘要分两种类 型%一种是基于抽取的摘要$即从原始文章中抽取一些具有代表性的句子作为摘要句另一种是基于篇章理 解的摘要$即先理解原始文章内容$再通过自然语言生成来产生摘要/ ,T,+基于抽取的摘要 基于抽取的自动摘要是根据句子的各种特征计算句子的总权重$然后根据句子的总权重给句子排序$选 取排序靠前的句子作为摘要句/文献($) 提出一种基于高频词给句子打分得到摘要句/文献(A) 提出把句子 位置和线索词等特征应用到自动摘要研究中/文献() 综合使用句子长度’句子位置’句子与文章标题的相 似度等以提高摘要句子的准确性/文献(M) 提出基于词频’句子位置’句