基于TF-IDF的贝叶斯模型的垃圾短信识别研究12000字 .docx

基于TF-IDF的贝叶斯模型的垃圾短信识别研究

第1章绪论 3

1.1研究背景及意义 3

1.2国内外研究现状 3

1.3研究思路 4

第2章垃圾短信概述 5

2.1垃圾短信的定义 5

2.2垃圾短信的特征 5

2.3垃圾短信带来的危害 5

第3章贝叶斯算法 7

3.1贝叶斯公式的原理 7

3.2贝叶斯算法的介绍 8

3.2.1PG贝叶斯算法 8

3.2.2GR贝叶斯算法 8

3.2.3朴素贝叶斯算法 9

3.3朴素贝叶斯算法优缺点 11

3.3.1朴素贝叶斯算法的优点 11

3.3.2贝叶斯分类方法的缺点 12

第4章模型的设计与实现 14

4.1python模块介绍 14

4.1.1开发环境介绍 14

4.1.2相关模块介绍 14

4.2数据获取 16

4.3数据处理 17

4.4提取特征构建模型 18

4.4.1数据集划分 18

4.4.2特征值提取 19

4.4.3朴素贝叶斯的实现 19

4.5垃圾短信过滤器的实现 20

第5章结论与工作总结 22

5.1模型评价 22

5.3工作总结 23

参考文献 24

第1章绪论

1.1研究背景及意义

当前社会日新月异，人与人之间的沟通也有了许多方式。短信已经成为人们生活中不可缺少的沟通方式，短信业务诞生三十年间，诞生了众多社交软件，它们沟通更为方便沟通成本也更低，但短信的地位依然不可动摇。每天数十亿的短信收发量的背后催存在量灰色垃圾短信，2013年时垃圾短信一度占据当时国内收发短信的20%左右，这导致不少人上当受骗，工信部也不止一次治理垃圾短信，但效果甚微，诸多不良垃圾讯息发送方在治理后死灰复燃，在这场景里垃圾短信逐步由明面转换为地下，不过垃圾短信不仅没有被抑制甚至一度焕发第二春(方瑶瑶，蔡俊杰，2022)。短信的优势在于点对点的发送，用户不可拦截是导致这一现状的根本原因，如果不能遏制这种趋势，未来垃圾短信泛滥的后果不堪设想。

针对国内垃圾短信的现状工信部与三大运营商曾多次联手整治，但是整治过后发送的技术再次提升，垃圾短信犹如打不死的小强始终残存在群众之间，对于很多商家来说，短信以较低的投入率获得较高的回报，也是垃圾短信泛滥的原因之一。目前，各式验证码，物流信息等正常短信与垃圾短信不宜判断，这极大的影响了人们的正常通讯，研究出一款准确能够识别出垃圾短信的分类器已成为当前社会的刚需，不仅能够保护人民的正常生活，还可以有效打击不法分子保护公民财产安全(杜浩宇，田灵儿，2023)。同时垃圾短信也在占用着正常短信的资源，为保证人民正常的短信收发，运营商不得不逐步提高服务器硬件质量，这不仅是一种资源浪费更是迫不得已的结果。

1.2国内外研究现状

目前国际上许多国家都已采取了法律的手段来规范短信业务，国际上来看，日本是最先认识到手机垃圾短信国家，也是最早采取行动的国家。日本垃圾短信泛滥比中国更早，垃圾短信的类别也五花八门，在此情景内发生其中诈骗类的垃圾短信占到了所有垃圾短信的20%,这使得日本从2004年开始就投入大量资金和设备解决这一问题，除此日本政府也颁布了两条法律条文使得发送垃圾短信成本提高(林梓浩，袁子琪，2021),有效的遏制了日本垃圾短信泛滥的状态。德国垃圾短信情况也不容乐观，德国在2004年就垃圾短信出台了相关法案，法案规定

商业短信的发送需要用户授权，未经授权将会收到严厉的法律制裁。法案还指出禁止发送法西斯相关内容和黄色暴力内容(李博，王浩淼，2022)。德国政府还向群众宣传相关法律法规，对于滥发短信者追溯到个人，处以约50万人民币的罚款，对于发送不良短信者将处以更高的罚款(张伟明，陈静娴，2020)。美国作为科技强国，针对垃圾短信曾花费数十亿美金研发新的反垃圾软件，这一举措一度使垃圾短信拦截成为炙手可热的市场，同时美国政府也在1991年颁布电话消费者保护法，维护正常的短信服务(刘建平，杨柳青，2021)。

目前我国在垃圾短信方面的法律法规还不够完善，不过目前垃圾短信问题已经引起国家的关注，国务院信息办针对国内垃圾短信现状已经开始相关研究择机颁布《个人信息保护法》,《个人信息保护法》的颁布将会保障个人信息权益，根据这种情形对垃圾短信等侵犯个人权益的行为提供法律依据。接下来如何识别垃圾短信会成为重中之重(赵启超，孙丽娜，2019)。

1.3研究思路

本文基于短信文本内容，将文本内容进行预处理→文本分词→提取特征值→