以XML为基础的Web数据挖掘技术系统的框架设计与实现.docVIP

以XML为基础的Web数据挖掘技术系统的框架设计与实现 　　摘 要 　　随着Internet的广泛应用，Web数据挖掘技术成为相关领域的研究热点之一，但Web数据控制的复杂性限制了该技术的发展。XML的应用为解决Web数据挖掘技术难题带来了契机。本文针对Web数据挖掘的特点，分析了XML在Web数据挖掘技术中的应用优势，并就以XML为基础的Web数据挖掘技术系统框架进行了分析。 　　【关键词】XML Web数据挖掘技术 框架 　　对于传统数据挖掘而言，其对象多为数据仓库中较为规则化的数据，对此类数据已经有些力不从心。W3C所开发的XML属于半结构化数据模型，具有树形结构、自描述等多种特点，可以使源于不同结构的数据有效结合起来，不仅兼容了传统Web应用，还实现了Web信息的交换与共享，因而为Web数据挖掘技术带来了极佳的中间载体，有效解决了Web数据挖掘的难点。 　　1 Web数据挖掘技术的特点及XML的应用优势分析 　　Web数据挖掘技术是借助于数据挖掘技术，从Web网络中寻找并获取信息，数据挖掘的对象即Web上各种文档及用户访问信息。该技术的特点如下：1）数据库环境异构化。从数据库角度而言，Web网站信息即为一个数据库，各站点即一个数据源，各数据源均为异构化，因而共同构成了庞大的异构化数据库环境；2）数据结构半结构化。Web数据异常复杂，并没有固定的模型描述，各站点数据均独立设计，且数据自身动态可变；3）需要解决数据源半结构化的问题。要想解决这一问题，需要一个模型对Web数据进行清晰描述，还需借助于一种自动从数据中将半结构化模型进行抽取的技术。 　　XML属于半结构化模型，因而极易将XML文档描述同数据库属性进行一一对应，便于有效查询及模型抽取，因此，XML的应用有效解决了Web数据挖掘技术的难点。XML提供了结构及语义信息，便于服务器对各类信息进行即时处理，XML并没有固定性的标记，因而可以对数据形式及结构进行准确描述，并将数据与显示形式有效分开，便于实现数据共享与网络应用。XML强大的扩展性及自定义性，使其能够充分表达各类数据，用户接收数据后可进行有效处理，也可在各数据库间传递，解决了数据统一接口方面的问题，为Web数据挖掘技术的应用提供了有利条件。 　　2 基于XML的Web数据挖掘技术系统框架的构建 　　首先，需要将非XML格式的页面转变为XML格式，再以用户需求为依据，构建相应的模型，并对XML网页进行分类与存储，挖掘出同用户兴趣相符的数据信息。为了有效提升系统整体性能，并为数据挖掘提供良好的集成环境，需要将系统原型分为三大逻辑层次，即数据获取层、存储层与挖掘层。获取层主要负责对半结构化数据进行转换及抽取，构建多层次Web数据库，并处理服务器日志数据，形成相应的日志数据库；存储层则将非XML格式的网页转换成XML格式，并存储网页信息库；挖掘层为核心层，负责提供数据挖掘方案及算法，以用户兴趣模型为依据，挖掘用户所需信息，完成数据挖掘的任务。 　　2.1 系统框架设计 　　系统包括四大模块，不同模块的功能相对独立，又互相联系。（1）用户界面模块为用户与系统之间的交互提供了接口，用户可先对挖掘参数进行设置，在提交挖掘请求，并根据结果进行评估；（2）预处理模块负责对网页数据构建半结构化模型，并将其特征元数据进行抽取，利用结构化形式予以保存，构建以Web为基础的多层数据库，体现文档集合的特点。其中，日志预处理器模块负责对日志数据进行过滤、转换等，将其转变成易于处理的结构，形成数据库，便于用户对数据进行全面分析。数据转换与抽取模块负责利用XML对Web文档进行处理，构建半结构化模型，对元数据进行抽取和存储，将非XML代码的网页利用TIDY软件转变成XML格式，以便挖掘。用户兴趣建模模块为用户提供了个性化的服务检索及数据过滤系统，会对用户兴趣进行跟踪，为各用户构建相应的个性化描述文件，储存用户兴趣。特征向量生成器模块负责结合网页特点抽取特征，确保文档特征向量同用户兴趣模型向量保持一致；（3）数据挖掘模块包括挖掘器和方法驱动模块，前者属于数据挖掘驱动引擎，由于各种挖掘算法适用于不同情况，因此，挖掘器负责以相关要求为依据，对挖掘方法进行选择，以更好地执行数据挖掘任务。后者利用所挖掘的信息，对Web页面内容进行修订，改进服务设计等，为用户提供个性化的界面和服务；（4）结果评估模块负责对结果进行评价，并为用户推荐其可能感兴趣的网页。 　　2.2 系统优点分析 　　（1）利用Tidy工具有效将非XML代码的文档转变为了XML文档； 　　（2）构建了用户兴趣模型，有效描述了用户所需信息，可以为不同用户提供个性化的服务信息及检索内容，满足了各类用户群体的不同需求； 　　（3）用户可自行设置挖掘参数，对挖掘