短信文本分类技术的研究.PDF

第26卷 第5期 计 算机 技 术 与发 展 Vol.26 No.5 2016年5月 COMPUTERTECHNOLOGY AND DEVELOPMENT May 2016 短信文本分类技术的研究 王文霞,王春红 (运城学院计算机科学与技术系,山西运城 044000) 摘 要:短信作为一种重要的交流手段,发挥着越来越重要的作用。 但伴随着短信的广泛使用,垃圾短信则严重影响着人 们的生活,因此文中基于短信文本特征词对短信进行分类研究。 其中,TF-IDF特征词权重计算方法是对文本词汇权重计 算的一种经典算法,得到了广泛应用。 但此方法为了简化计算,忽略了词语之间的相互关系。 针对此问题,依据同一短信 文本中的词汇之间存在的相互关系,文中对权重计算法进行了调整,提出了基于模糊 均值的短信文本分类算法。 即先 K 将短信文本集用TF-IDF算法处理,得到词汇-文本集,再用模糊 均值算法对得到的词汇-文本集进行处理。 最后通过 K 实验,验证了基于模糊 均值的短信文本分类算法,其分类结果的查全率和查准率都较高,有效辨别了垃圾短信。 K 关键词:短信文本分类;向量空间模型;模糊聚类;模糊 均值 K 中图分类号:TP301 文献标识码:A 文章编号:1673-629X(2016)05-0145-04 doi:10.3969/j.issn.1673-629X.2016.05.031 Research on Text Classification Technology for Message WANG Wen-xia,WANG Chun-hong (Department of Computer Science and Technology,Yuncheng University, Yuncheng044000,China) Abstract:Asan importantmeansofcommunication,SMSplaysanincreasinglyimportantrole.ButalongwiththeextensiveuseofSMS, SMS spam seriously influencespeople’slives.Therefore,theclassification of SMSisresearchedbasedonthekeywordsinthispaper.TF -IDF weight calculation method isa classicalalgorithmto calculatethetext wordweight,which iswidelyused.But in order to calculate simply,thismethod ignoresthe mutualrelationsbetweenwords.Aimingatthisproblem,basedonthesamerelationshipbetweenwordsin thetextmessages,inthispaper,theweightingmethodisusedforadjusting,itputsforwardthetextclassificationbas