反垃圾邮件技术分析与中文垃圾邮件过滤规则研究(孙东红陈光英博士清华大学网络中心).ppt

反垃圾邮件技术分析与中文垃圾邮件过滤规则研究 孙东红 陈光英 中国教育和科研计算机网紧急响应组 （Computer Emergency Response Team of China Education and Research Network) 清华大学信息网络工程研究中心 (Network Research Center of Tsinghua Univ.) 主要内容 垃圾邮件的定义 垃圾邮件历史 现状分析 垃圾邮件的定义 垃圾邮件：普通意义上的垃圾邮件指的是未经主动请求的大量的电子邮件, SPAM, UBE(Unsolicited Bulk Email), UCE (Unsolicited Commercial Email) 收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的宣传品等宣传性的电子邮件; 收件人无法拒收的电子邮件； 隐藏发件人身份、地址、标题等信息的电子邮件； 含有虚假的信息源、发件人、路由等信息的电子邮件。 主要内容 垃圾邮件的定义 垃圾邮件历史 现状分析 1985 年8 月一封通过电子邮件发送的链锁信，一直持续到1993 年，这是首次关于垃圾邮件的记录。 1993 年6 月份，在Internet 上出现了名为“Make Money Fast”的电子邮件。 1994 年4 月份，Canter Siegel 的法律事务所把一封移民顾问服务广告邮件发到6000 多个新闻组，一时间群情激奋。--首次用spam称呼垃圾邮件。 1995 年5 月出现第一个专门的垃圾邮件群发软件Floodgate。 分析：简单邮件传输协议(SMTP)协议安全性存在不足： SMTP基于RFC 524发展而来，RFC524是在1973年提出的，它不是一个安全的命令集。这使得SMTP缺乏安全性保障。 主要内容 垃圾邮件的定义 垃圾邮件历史 现状分析 现状分析-数据统计 商业宣传邮件 政治宣传邮件 色情宣传邮件 病毒邮件 发件人地址随机变化 邮件主题随机变化 伪造邮件头干扰信息 信体内容随机变化内容 正文以图片方式显示，难以识别 对垃圾邮件的定义和分类因人而异 垃圾邮件在不同时段内的传播内容不一样 垃圾邮件在不同范围内的传播内容不一样 宽带网络的快速发展 网络通信成本的下降 硬件性能的提高并且成本不断降低 成本与产出的巨大反差 邮件的易伪造 缺乏法律与规范的约束 国家层面：政治、经济、文化 用户层面：学习、工作、生活 对于CERNET 内的高校而言： 获取目标地址 扫描、猜测、购买 利用病毒从本地邮箱获取联络人Email地址 逃避检测、追踪和过滤的技术 Open-Relay 自架设 MTA服务 采用动态IP地址 伪造或隐藏信源地址 逃避内容过滤： Graphics , URL, mis-spelling, etc. 欺骗（Phishing）技术 主要内容 技术概览 垃圾邮件的响应环节及措施 邮件的传输过程及对垃圾邮件的控制 技术概览 邮件服务系统的安全加固 主要内容 技术概览 垃圾邮件的响应环节及措施 邮件的传输过程及对垃圾邮件的控制 主要内容 技术概览 垃圾邮件的响应环节及措施 邮件的传输过程及对垃圾邮件的控制 邮件的传输过程 黑名单 不占用计算机资源，易于实施 。 需要手动维护的IP地址清单。 垃圾邮件发送者经常修改他们的IP地址，并采用一个广泛的IP地址区间以逃避反垃圾邮件手段的检测，因此该方案在总体的垃圾邮件解决方案中仅起补充作用。 黑名单、白名单、灰名单 也被称为DNS-RBLs, 检查所有收到邮件的IP地址，与在RBL中的IP地址核对来阻断与spammer 的连接。 RBL服务运营商维护公共RBLs, 使用单位仅需订阅实时黑名单服务。 RBLs的计算开销非常低，同时它们通常采用一个类似与DNS的协议实施，所以它们的网络开销也非常低。 RBLs缺点易于产生误报，须谨慎。 RBL工作原理 链接频度控制 DOS(拒绝服务)攻击----垃圾邮件发送者经常试图通过在很短一段时间发送大量邮件阻塞邮件服务器 。 速率控制允许在一段时间内从相同IP试图的联接数量控制在设置的范围内 。 反向域名验证 对收到邮件的来源IP地址采用反向DNS查找验证真实性 如果反向DNS查找提供的域与邮件上的来源IP地址相符合，该邮件被接受。如果不符合，该邮件被拒绝。 由于很多反向DNS目录未被有效建立 ，或无法正常建立，比如，任何”vanity”域名决大多数情况下没有一个正确的反向DNS查找。在这种情况下，由这些域发送的邮件将被阻断，造成不可接受的高误报告率。 关键词过滤法 简单有效、可以阻断绝大多数垃圾邮件； 词语过滤识别包含特定关键字的所有邮件，比如“免费”、“色情”等在垃圾邮件中