小型超市数据仓库系统SMDW的研究与实现1.doc

小型超市数据仓库系统SMDW的研究与实现1 杨富华2 唐常杰 刘欣 (泸州医学院计算机教研室) (四川大学计算机系) 摘要 本文介绍独立开发的小型超市数据仓库系统SMDW V1(0的主要功能、prori算法的具体措施。 数据仓库(DBMS(ODS(超市(数据挖掘(关联规则 中图法分类号 TP391 随着信息社会需求的发展和市场竞争的加剧(用户对数据库系统提出了更高的要求(从大量的业务数据中探索业务活动的规律性(进行分析和推理(从而为决策提供依据。 (DW)技术应运而生。W.H.Inmon将其定义为(“数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合(用以支持经营管理中的决策制订过程。”[4]数据仓库技术强调了“处理过程”(而不是强调某一个软件或硬件产品。、。 SMDW V1.0。 1 SMDW的数据源及数据仓库管理系统分析 作为数据仓库(SMDW保存的是历史数据和总结数据(数据包含相应的时间属性(数据经过集成(是面向分析环境的。尽管数据仓库的创建有着自身的特色(但本质上以传统的数据库技术作为储存数据和管理资源的基本手段。 SMDW系统由三部分组成(数据仓库、数据仓库管理系统(DWMS)和数据仓库工具。在整个系统中(数据仓库居于核心地位。而数据仓库中数据及其操作的特点(决定了其ENGINE(DWMS)将比数据库ENGINE(DBMS)简单许多。本系统中DWMS由DBMS担任。 SMDW的“主题”是用DBMS中的一系列表实现的。DBMS的关系型结构能较好地适应多维数据的表示和存储。关系数据库在模拟多维数据时将多维结构划分为两类表(事实表和维表。事实表存储事实的度量值和各个维的码值(维表存储维的描述信息(包括维的层次、成员类别和码值等(事实表通过每一维的码值同维表联系在一起(该结构被称为“星型模式”。对于层次复杂的维(为了避免冗余数据占用大量的空间(可以用多张表来描述该维。这样在“星”的角上出现了分支(这种扩展的星型模式被称为“雪花模式”。 关系数据库的XBase系列在我国曾经大量使用并积累了大量的原始操作数据(建立能够包容XBase系列为数据源的数据仓库具有现实意义。基于这一国情(SMDW V1.0版首先以XBase系列为数据源(并将在升级版本中用ODBC连接SQL Server(Oracle(Access等(以形成多数据源的数据仓库。 2 SMDW用户界面和主要功能 SMDW用户界面如下图一(主菜单有(基础数据处理(数据仓库生成(查询和分析(系统管理。其要点如下( 2.1数据提取过滤集成(从超市每日交易的详细数据中提取数据(将不一致的字段长度、不一致的赋值、丢失的数据输入等经过清理过滤(按照统一的编码、统一的格式整合集成(然后装入数据仓库。 2.2主题的选择和汇总(SMDW是面向主题的(目前版本选取了超市最重要的两个主题(商品和顾客。超市经理最关心的是商品的销量、销售额和利润(也很关心顾客的购买行为和习惯。某某顾客经常购买哪些商品?然后可以定期给他函寄商品信息。哪些商品经常被顾客一起购买?然后可以合理地摆设货架及商品(比如经典例子中的尿布与啤酒。从商品这个主题汇总了每种商品的日销量、日销售额及日利润。在日汇总的基础上(汇总了每种商品的每周、每月的销量、销售额和利润及这三个数据的日平均、最大和最小值。从顾客这个主题(汇总了每个顾客每日购买的商品的购买量和购买额(未购买商品则无相应数据)。在日汇总的基础上(汇总了每个顾客每周、每月购买商品的购买量和购买额(未购买商品则无相应数据)。 2.3查询功能(从商品这一主题(可查询超市每种商品的每日销量、销售额和利润(每种商品的每周销量、销售额和利润及这三个数据的日平均、最大、最小值(每种商品的每月销量、销售额和利润及这三个数据的日平均、最大、最小值(所有查询结果均可以表格和图形(直方图、圆饼图、折线图等)两种方式显示。从查询结果可分析出什么商品最畅销(什么商品最赚钱(用以指导超市的经营策略。从顾客这一主题(可查询每个顾客每日的购买量和购买额(每周的购买量和购买额(每月的购买量和购买额(未购买商品则无相应数据)(所有查询结果均可以表格和图形(直方图、圆饼图、折线图等)两种方式显示。从查询结果可知顾客的购买力和购买行为(如某顾客经常买高档商品(则说明他的购买力强(某顾客常常买中低档商品(少有买高档商品(则说明他的购买力一般(超市从而可有针对性地培养顾客群。 2.4数据挖掘分析(SMDW可分析超市日销售额、日利润月趋势(周销售额、周利润年趋势(月销售额、月利润年趋势(并以表格和图形(直方图、折线图、圆饼图等)两种方式显示结果。因此可作历史比较和趋势分析。关联规则是形式如下的一种规则(“