[物理]第1章 数据仓库的概念与体系结构.pdf

数据仓库与数据挖掘 第1章 数据仓库 的概念与体系结构 授课教师:马楠 2012/11/6 1 前言:关于数据仓库  Data Warehouse （DW）  ？1 ：数据仓库的提出  ？2 ：数据仓库的应用情况及前景 ？1 ：数据仓库的提出  ？：数据库（Database）的作用  数据库实训？  数据存储、数据安全、并发缓存控制。。。  历史与实时数据的处理方式不同  历史数据作用：统计分析、大规模访问  实时数据：更新、小规模访问  放到一个系统中的问题？  数据仓库主要存放历史数据 ？1 ：数据仓库的提出  ？数据仓库是替代数据库的吗  不是，并存  数据仓库的数据主要用来做统计分析、数据 挖掘  代价：  数据冗余  硬件、软件投资  维护人员  数据导入导出  异构系统的融合。。。 ？1 ：数据仓库的提出  ？数据仓库就是数据库数据的简单备 份吗 不是  数据结构不一样  二维表  立方体  访问方式不一样  SQL查询  旋转、下钻、上卷、切片等 ？2 ：数据仓库的应用情况及前景 20世纪90年代兴起 2000年以来，在中国发展迅速，各大 领域分别启动数据仓库项目  中国移动、淘宝、银行、保险、旅游、气 象。。。 ？2 ：数据仓库的应用情况及前景  中国移动：  2003年，经过激烈竞争，中国移动选中Teradata数据 仓库解决方案以开发其业务分析支持系统（BASS）项 目，用以分析来自31个省级分支机构和总公司的业务 数据，从而获得纵览企业全局的单一视图，以提高决策 质量，提高竞争优势。  用数据仓库来寻找潜在用户 中国移动建立BASS系统  比利时国家电信经纪人使用数据仓库建立的顾客信息系 统，其中数据仓库拥有超过1万亿字节的数据，包括四 个多月的电话通信记录。通过欺骗检测功能，能够很快 发现反常电话以及欺骗性的打电话方式，并能在造成重 大经济损失之前终止这种欺骗行为。 ？2 ：数据仓库的应用情况及前景  淘宝：淘宝自己的数据仓库实施团队  淘宝于2004开始基于Oracle产品构建企业级数据仓库 (EDW)，并于2007年、2008年和2009年三次利用Oracle RAC 10g和Oracle RAC 11g对数据仓库系统进行了升级 和扩充  实现了数据处理和分析时效性的不断提升，过去需要数天 才能完成的计算现在当天就能完成，部分以前属于小时级 别的计算更是提高到了分钟级别。  目前，淘宝数据仓库能够每天处理几亿次的用户行为，日 处理的数据量接近30TB，堪称目前国内每天数据处理量 最大、最忙的数据仓库。 ？2 ：数据仓库的应用情况及前景  银行：  2002年，招行选择了业界著名厂商Sybase的数据仓库系统。  数据仓库和数据挖掘技术在国际上早已成为商业银行业快速发展 、科学管理的平台。根据美国META集团的调查，数据仓库技术 在美国金融业、制造业、商贸业以及社会服务业等方面都得到广 泛的应用，已经采用数据仓库的企业的投资回报率均在40%以上 ，部分企业高达每年600%。  目前，华尔街62％的银行、保险、证券等机构采用数据仓库技术 进行风险管理，其中包括著名的摩根·斯坦利、花旗银行、加拿大