03ETL培训First内容.ppt

运行环境 安装Informatica PowerCenter 安装存储资料库的数据库 安装PowerCenter服务端 安装PowerCenter客户端 参考安装文档 Informatica公司简介 公司 成立于1993年 Nasdaq: INFA (1999) 全球职工1200+ 产品 世界级数据集成工具平台 数据质量管理 元数据管理工具平台 ETL工具 Informatica之产品篇 2011年6月 Informatica产品介绍 PowerCenter：Informatica PowerCenter是世界级的企业数据集成平台，它在ETL领域中无论是执行能力还是战略远见方面都是佼佼者，是Informatica的核心产品 。 Informatica公司其他产品 PowerAnalyzer：BI前端工具，用于数据展现，内置了170多种分析报表，用于元数据的浏览和分析 PowerExchange：适用于连接主机数据，实时数据和CDC数据处理 SuperGlue：元数据管理工具，管理系统所有的元数据，包括BI、OLAP、Data Model、ETL工具产生的元数据。 主流的ETL厂商和产品 专业ETL厂商和产品包括Ascential公司的DataStageXE、Sagent公司的Solution和Informatica公司的产品 Informatica产品体系结构 名词解释 ETL：Extract-Transform-Load 的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程。 DW：Data Warehousing，根据Bill.Inmon 的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。 Metadata：元数据。描述数据的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。 解析什么是ETL？ Extract: 通过接口提取源数据，例如:ODBC、专用数据库接口和平面文件提取器。参照元数据来决定提取何处的数据和怎样提取。 Transform: 开发者将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。 Load: 加载经转换和汇总的数据到目标数据仓库中，可实现SQL 或批量加载 ETL环节中哪个才是最重要的？ 大家猜下哪个环节是最重要的环节？ 最重要的环节 大家可能大部分会认为转换才是最重要的环节，但事实上是加载环节。 按重要程度递减排序，分别是load（装载）、clean（清洗）、transfer（转换）、extract（抽取） 主要应用领域 Informatica PowerCenter的应用领域集中以下五个方面： 1、数据平台 2、数据迁移 3、数据仓库 4、数据同步 5、商业活动监控 什么是数据仓库？ 数据仓库是一个环境，而不是一件产品，提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问，的各种技术和模块的总称 数据仓库体系结构 PowerCenter在数据仓库的应用 1) 商业智能 （BI） business intelligence 2) 数据集市 数据集市（Data Marts）：为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subject area）。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是再实施不同的数据集市时，同一含义的字段定义一定要相容，这样再以后实施数据仓库时才不会造成大麻烦。 PowerCenter在数据仓库的应用 3) 数据集市合并 4) 操作型数据存储 ETL抽取在数据仓库中的应用体现在： 把数据从各种各样的存储方式中拿出来，进行必要的转化、整理，再存放到数据仓库内 。 数据转换指的是什么？ 数据转换都包括，删除对决策应用没有意义的数据段；转换到统一的数据名称和定义；计算统计和衍生数据；给缺值数据赋给缺省值；把不同的数据定义方式统一 产品功能 PowerCenter：按照一定格式，整合、转换、汇总、传输数据。 Informatica PowerCenter 提供专注于最主要的、最复杂的数据集成项目必须的工具和数据服务的平台，是业界领先的、具有适应性的软件，用来访问