ETL流程、数据流图及ETL过程解决方案.ppt

Planning Design: Requirements/Realities ? Architecture ? Implementation ? Test/Release Data Flow: Extract ? Clean ? Conform ? Deliver 数据拆分的时候，规则的制定就显得极为重要，要保证所制定的规则能够覆盖所有的数据，不丢失数据且不出现数据的重合。 常见问题的分析 字符集问题 缓慢变化维处理 增量、实时同步的处理 错误数据的检测 变化数据的捕获 抽取异常中止的处理 一、字符集问题 字符集定义 字符集是字符(包含字母，数字，符号和非打印字符等)以及所指定的内码所组成的特定的集合。是基于某种操作系统平台和某种语言集支持的。语言集的集合被称为语言组，它可能包含一种或多种语言。 C/S字符集转换 直接转换 对于同一语言组的不同字符集之间，可以直接进行字符的转换，不会产生乱码 通过Unicode转换 Unicode支持超过650种语言的国际字符集 Unicode系统缺省字符集utf-8 不同语言组的字符集进行直接转换的时候会出现乱码！ 异构库字符集转换 假设案例： 源数据库为Oracle 10g，字符集zhs 16gbk 目标数据库Sybase IQ，字符集为x， locales.dat文件对应操作系统下字符集设置为y x=cp936，y=cp936 结果：直接转换出现乱码。因为sybase目前支持的中文字符集有cp936、eucgb、gb18030、UTF-8 方案：利用unicode进行转换 ODBC 利用字符集设置为UTF-8的中间库 二、缓慢变化维处理 缓慢变化维定义 在现实世界中，维度的属性并不是静态的，会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维。 处理方式 不保留历史数据 保留历史数据 起始-结束日期字段标识 真/假状态字段标识 版本号字段标识 代理键字段标识 自增序列 构造算法 保留且分析历史信息 添加新的维度列（数据增多，维度列增多） 三、增量、实时同步的处理 整表匹配 同一个库中进行 写触发器 客户是否允许创建触发器 是否影响数据库性能 读数据库日志 Oracle：设定物化视图日志 四、断点续传 利用源表的索引机制，抽取时按”数据块”顺序抽取 采取DBLink的机制，结合oracle自身机制优化效率 生成本地文件块，FTP传输减少对带宽影响。若中断，流程控制自动回滚加载当前数据块 ETL工具大都支持异常中止后读取断点重新加载的处理 支持对变化数据的捕获 与目标数据库松耦合 存储过程与ETL 存储过程：数据库内部利用索引的查找、排序、优化，不涉及输出、转换等操作 ETL：异构数据源或减少数据库负荷、sql嵌套的情况 如果仓库中同时需要明细和汇总数据，在仓库汇总；如果仓库不需要明细数据，ETL服务器上先排序然后汇总，减少业务系统负荷。 数据库不适合做大数据量汇总的话，排序后按排序键汇总，并行处理加动态分区（ETL厂商高性能汇总的机理） ◇ETL定义 ◇模式及比较 ◇ETL过程 ◇问题分析 ◇ 现状分析 目录 ETL工具厂商 目前ETL工具来源： 数据库厂商自带的ETL工具，如OWB等； 第三方工具提供商，如Informatic等； 开源ETL工具，如kettle； ETL和数据集成工具：ETL和数据集成的工作量占BI项目的40%，但是ETL工具约占BI市场的9%，其中很多应用是采用手工编码方式，ETL工具仍有待普及 ????? ? 谢 谢 ! 正确性（Accuracy）：数据是否正确体现在现实或可证实的来源 完整性（Integrity）：数据之间的参照完整性是否存在或一致 一致性（Consistency）：数据是否被一致的定义或理解 完备性（Completeness）：所有需要的数据是否都存在 有效性（Validity）：数据是否在企业定义的可接受的范围之内 时效性（Timeliness）：数据在需要的时间是否有效 可获取性（Accessibility）：数据是否易于获取、易于理解和易于使用 数据格式错误（如缺失数据、数据值超出范围或数据格式非法等） 数据一致性：数据源系统为了性能的考虑，会在一定程度上舍弃外键约束，这通常会导致数据不一致。例如在帐务表中会出现一个用户表中没有的用户ID，在例如有些代码在代码表中找不到等。 关于ETL相关问题的解决办法 ◇ETL定义 ◇模式及比较 ◇ETL过程 ◇问题分析 ◇ 现状分析 目录 ETL定义 ETL定义涉及以下内容： ETL定义 ETL前提 ETL原则 ETL定义 定义： 数据的抽取(Extract)、转换(Transform)、装载(Load)的过程 目标： 数