关联规则算法在科技查新中的应用分析-application analysis of association rule algorithm in sci-tech novelty search.docx

proved to Novelty Search algorithm in the field of data analysis work has certain practicality.Keywords：Novelty Search, data mining, association rules, Apriori Algorithm目录摘要 IABSTRACT II１ 绪论 11.1 论文选题及研究意义 11.1.1 引言 11.1.2 问题的提出 11.1.3 课题研究的意义和目的 21.2 我国科技查新机构的现状及其查新意义 31.3 数据挖掘的现状及应用领域 41.3.1 数据挖掘技术的研究现状 41.3.2 数据挖掘技术的应用领域 51.5 本文的组织结构 72 数据挖掘技术 82.1 数据挖掘的概述 82.1.1 数据挖掘的定义 82.1.2 数据挖掘的任务 92.1.3 数据挖掘与传统分析方法的区别 112.2 数据挖掘工作流程 122.2.1 数据挖掘的对象 122.2.2 数据准备 122.2.3 挖掘知识和信息 132.2.4 模式的解释和评价 132.3 数据挖掘的主要方法 132.4 数据挖掘的应用研究 162.4.1 数据挖掘的典型应用 162.4.2 数据挖掘带来的效益 172.5 本章小结 183 关联规则挖掘 193.1 关联规则相关介绍 193.1.1 基本概念 193.1.2 挖掘步骤 203.1.3 关联规则的应用领域 213.2 频繁模式挖掘算法 21APRIORI 算法 22FP-GROWTH 算法 27CLOSET 算法 293.3 由频繁模式生成关联规则的方法 323.4 关联规则扩展 323.4.1 多层次关联规则 333.4.2 多维关联规则 333.4.3 关联规则中的相关分析 333.4.4 基于约束的关联规则 343.5 本章小结 354 查新分析系统的设计 364.1 相关研究 364.1.1 WEB 文本挖掘364.1.2 词频分析法 364.1.3 WEB 文本挖掘与词频分析比较364.1.4 文本数据挖掘 374.2 查新信息资源的概况 384.2.2 各类型数据库 394.2.3 INTERNET 网上信息资源394.3 查新分析系统设计 394.3.1 问题的提出 394.3.2 查新系统的业务流程 394.3.3 查新系统的总体结构 404.4 关联规则在资料分析子系统中的实现 424.4.1 数据获取 424.4.2 预处理数据 434.4.3 预处理与变换 444.4.4 数据挖掘 454.4.5 规则的发现 494.4.6 对查新分析的意义 504.5 本章小结 505 结论 515.1 论文总结 515.2 工作展望 51致谢 52参 考 文 献 53附录：作者在攻读硕士学位期间发表的论文目录 56１ 绪论1.1 论文选题及研究意义1.1.1 引言今天，互联网已经成为最为流行的信息发布媒介。互联网使人们无论是发布 还是阅读信息都变得极为方便。然而，随着互联网信息爆炸性的增长，人们想要 获取一条自己想要的信息却变得像大海捞针一般困难。如何有效、快速的有哪些信誉好的足球投注网站所 需信息成为急待解决的问题。在这种背景下，有哪些信誉好的足球投注网站引擎出现了。它帮助人们通过 给定的关键词来获取相关的页面。然而，有哪些信誉好的足球投注网站引擎只是部分缓解了信息有哪些信誉好的足球投注网站的问 题，结果并不能十分令人满意。不足之处表现在三个方面:① 给出了相关页面的链接，用户还是需要通过手工浏览网页才能找到相关信息；② 结果不准确。大量的有哪些信誉好的足球投注网站结果都是用户不想要的；③ 检索模式简单。无法提供类似 SQL 这样强大的查询语言。由于无法定制精 确的查询，想要获取精确的结果是不可能的。最理想的情形是:互联网作为一个信息源能像数据库一样被查询。目前 Web 数 据大都以 HTML 形式出现，缺乏对数据本身的描述，不含清晰的语义信息，模式 也不太明确。这使得应用程序无法直接解析并利用 Web 上的海量信息，为了增强 Web 数据的可用性，出现了 Web 信息抽取技术，它通过包装现有 Web 信息源，将 网页上的信息以更为结构化的方式抽取出来，为应用程序利用 Web 中的数据提供 了可能。现有的 Web 信息抽取技术不但可以直接定位到用户所需的信息，而且采 用一定的方式增加了语义和模式信息，为 Web 查询提供了更为精确的方法，使 Web 信息的再利用成为可能，因此有着明显的优势和广阔的前景，是当今多个领 域的研究