基于遗传禁忌算法的网络信息过滤模型研究-计算机软件与理论专业论文.docxVIP

单 位 代 码 10445 学 号 2008021175 分 类 号 TP301 硕 士 学 位 论 文 论 文 题 目 基于遗传禁忌算法的网络信息 过滤模型研究 学科专业名称 计算机软件与理论 申 请 人 姓 名 姜沛佩 指 导 教 师 刘培玉 论文提交时间 2011 年 6 月 16 日 独 创 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得 （注：如没有其他需要特别声明的，本 栏可空）或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 导师签字： 学 位 论 文 版 权 使 用 授 权 书 本学位论文作者完全了解 学校 有关保留、使用学位论文的规定，有权保留并向国家 有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权 学校 可以 将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 制手段保存、汇编学位论文。（必威体育官网网址的学位论文在解密后适用本授权书） 学位论文作者签名： 导师签字： 签字日期：201 年 月 日 签字日期：201 年 月 日 山东师范大学硕士学位论文 山东师范大学硕士学位论文 山东师范大学硕士学位论文 山东师范大学硕士学位论文 i i ii ii 目录 摘要 i ABSTRACT iii 第一章 绪论 1 1.1 课题研究背景和意义 1 1.1.1 研究背景 1 1.1.2 研究意义 1 1.2 信息过滤概述 2 1.2.1 信息过滤的发展及特点 2 1.2.2 典型的网络信息过滤模型 3 1.2.3 网络信息过滤模型存在的问题 4 1.3 本文创新点及基本结构 5 1.3.1 本文的创新点 5 1.3.2 本文的基本结构 5 第二章 网络信息过滤关键技术 6 2.1 网络数据的获取 6 2.1.1 数据包捕获 6 2.1.2 协议解析 7 2.2 分词技术 7 2.2.1 基于词典进行字符串匹配的方法 7 2.2.2 基于统计的方法 7 2.2.3 基于自然语言理解的方法 8 2.3 特征选择 8 2.3.1 文档频率 8 2.3.2 互信息 9 2.3.3 信息增益 9 2.3.4 开方拟合检验 9 2.4 权值计算 10 2.5 文本表示模型 10 2.6 分类算法 11 第三章 基于遗传禁忌算法的网络信息过滤模型 13 3.1 遗传算法概述 13 3.1.1 遗传算法基本原理及其主要应用 13 3.1.2 遗传算法的产生与发展 14 3.1.3 遗传算法的主要优点 15 3.2 基于遗传算法的信息过滤模型 16 3.2.1 遗传优化过程 16 3.2.2 遗传禁忌算法 20 3.2.3 基于遗传禁忌算法的朴素贝叶斯分类方法改进 23 3.3 应用词汇组合进行句子抽取的文本摘要 27 3.3.1 词法分析系统存在的不足与组块分析 27 3.3.2 词汇组合 29 3.3.3 应用词汇组合进行句子抽取的文本摘要 29 3.3.4 效果测试 31 第四章 基于遗传禁忌算法的网络信息过滤系统的设计与实现 33 4.1 系统总体设计 33 4.1.1 系统设计思路 33 4.1.2 系统基本框架 33 4.2 系统模块设计 36 4.3 系统主要界面与过滤效果图示 36 4.3.1 系统主要界面 36 4.3.2 网页过滤效果示例 42 第五章 结束语 45 5.1 本文所做的主要工作 45 5.2 存在的问题 46 5.3 下一步工作 46 参考文献 47 攻读硕士学位期间的主要成果 50 致谢 51 基于遗传禁忌算法的网络信息过滤模型研究 摘要 随着 Internet 的发展和应用，网上信息飞速增长，内容丰富，种类繁多。然而，网络 是把双刃剑，在给人类带来便利的同时又不可避免地使其接触到大量不良信息；另外，基 于网络自身所固有的开放性、动态性和异构性，用户很难准确快速地获取所需信息，如何 自动从动态信息流中抽取出符合用户个性化需求的信息变得异常重要。为解决上述问题， 网络信息过滤技术应运而生。信息过滤技术能根据用户需求抽取信息并屏蔽不良信息，它 主要研究网络信息的获取和表示、用户模板的构建、待处理文档的分类等问题。 本文涵盖了网络信息过滤的各个阶段，以信息过滤模型的查准率和查全率两个技术指 标为出发点，做了如下几方面的工作： 1、深入研究了网络信息过滤相关过滤模型及其各项关键技术 探讨