[所有分类]第10章电子商务中的数据处理技术.ppt

数据处理一般分为两种类型： 操作型数据处理(事务处理) 指对数据库联机的日常操作 分析型数据处理 从大量的事务型数据库中抽取数据，并将其清理、转换为新的存储格式，涉及数据仓库。 10.1数据仓库 数据仓库及其概念 广义概念上的数据仓库是一种帮助企业做决策的体系化解决方案 数据仓库技术用于数据的存储和组织 联机分析处理技术侧重于数据的分析 数据挖掘技术致于知识的自动发现 数据仓库的内涵 数据仓库（Data Warehouse，DW） 多维数据库（Multi-Dimensional Database，MDD） 数据集市（Data Marts） 元数据（Metadata） 外部数据源 1．数据仓库（Data Warehouse） 数据仓库特征是： ? 总计性数据（面向主题）/原始数据 ? 集成性数据/分散性数据 ? 历史性数据/即时性数据 ? 稳定性数据/易变性数据 2、多维数据库（Multi-Dimensional Database，MDD） 多维数据库（MultiDimensional Database,MDD）可以简单地理解为：将数据存放在一个n维数组中，而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵，人们可以通过多维视图来观察数据。多维数据库增加了一个时间维，与关系数据库相比，它的优势在于可以提高数据处理速度，加快反应时间，提高查询效率。 多维数据模型——立方体模型及其操作 建立数据集市的原因 数据仓库是一种反映主题的全局性数据组织。但是,全局性数据仓库往往太大，在实际应用中将它们按部门或个人分别建立反映各个子主题的局部性数据组织,它们即是数据集市。因此，有时我们也称它为部门数据仓库。 例：在有关商品销售的数据仓库中可以建立多个不同主题的数据集市： 数据仓库与数据集市的关系类似于传统关系数据库系统中的基表与视图的关系。数据集市的数据来自数据仓库，它是数据仓库中数据的一个部分与局部，是一个数据的再抽取与组织的过程。 建立数据仓库与数据集市的过程可以有两条途径： 元数据 由数据源中的数据到数据仓库中的数据的转换过程，是需要按照一定的规律来进行的，这种规律往往是用一定的表达式或算法形式表示，它们被称为数据仓库系统的元数据。 元数据是数据仓库的核心，用于支持数据的抽取和访问操作。元数据记录的信息包括： 元数据管理 元数据类似于数据库管理系统中的数据字典，主要用于数据的抽取与刷新操作，是数据抽取与刷新的基本依据。 元数据一般存放于数据仓库中并受元数据管理系统的管理，这被称为元数据管理。 通过元数据可以将数据仓库和复杂的数据源系统的变化隔离，是数据仓库开发和维护的一个关键因素，也是保证数据抽取质量的依据。 数据仓库与数据库的区别 它依据决策要求，只从数据库中抽取那些需要的数据，并进行一定的处理。 数据仓库是多维的，即数据仓库的数据的组织方式有多层的行和列。 它采用分析型的数据处理而非普通的操作型的数据处理方式，支持决策处理而非常规事务处理。 从数据库到数据仓库 基于数据库技术的数据处理操作大致可以分为两大类： 从数据库到数据仓库 基于数据库技术的数据处理操作大致可以分为两大类： 从数据库到数据仓库 基于数据库技术的数据处理操作大致可以分为两大类： 数据仓库的技术支持 并行数据库技术 高性能的数据库服务器 数据库互操作技术 主题（Subject）：特定的数据分析领域与目标。 面向主题：为特定的数据分析领域提供数据支持。 为特定数据分析领域提供的数据与传统数据库中的数据是有不同的。传统数据库中的数据是原始的、基础的数据，而特定分析领域数据则是需要对它们作必要的抽取、加工与总结而形成。 数据仓库是面向分析、决策人员的主观要求的，不同的用户有不同的要求，同一个用户的要求也会随时间而经常变化，因此，数据仓库中的主题有时会因用户主观要求的变化而变化的。 例1：一个面向事务处理的“商场”数据库系统，其数据模式如下： 采购子系统： 订单（订单号，供应商号，总金额，日期） 订单细则（订单号，商品号，类别，单价，数量） 供应商（供应商号，供应商名，地址，电话） 销售子系统： 顾客（顾客号，姓名，性别，年龄，文化程度，地址，电话） 销售（员工号，顾客号，商品号，数量，单价，日期） 库存管理子系统： 领料单（领料单号，领料人，商品号，数量，日期） 进料单（进料单号，订单号，进料人，收料人，日期） 库存（商品号，库房号，库存量，日期） 库房（库房号，仓库管理员，地点，库存商品描述） 人事管理子系统： 员工（员工号，姓名，性别，年龄，文化程度，部门号） 部门（部门号，部门名称，部门主管，电话） 上述数据模式基本上是按照企业内部的业务活动及其需要的相关数据