交通数据分析 交通数据分析 18 数据抽取.ppt

* * 数据抽取 1 数据抽取方式 目录 数据抽取类型 2 小结 3 全量抽取：抽取的时候将目标表的数据全部抽取出来，通常仅全量抽取一次。 增量抽取：每次抽取只抽取相比于上次更新增加的数据，根据预设的触发条件进行抽取。 常见数据抽取类型 业务系统 系统1 系统2 全量抽取（一次性） 增量抽取 触发条件 数据仓库 仓库1 仓库2 数据抽取指的是从数据源抽取目的数据的过程，通常分为全量抽取和增量抽取两种方式。 全量抽取常用于数据迁移或者数据备份，全量抽取较为简单，将目标数据源中的完整表结构和数据原封不动的抽取出来，全量抽取在数据分析中通常为首次的一次性抽取。 常用数据抽取类型 全量抽取 数据源 完整表结构与数据 数据仓库 增量抽取只抽取自上次抽取后数据源内新增或修改过的数据，关键在于如何捕获变化的数据，常见捕获数据变化的方法如下： 时间戳：数据源表中需要存在时间属性列, 利用这些时间属性列来判断哪些数据是增量数据,适用于实时性要求不高的场合。 触发器：在源系统中建立触发器,一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取时从临时表中抽取数据。 全表比对：事先为要抽取的表建立一个结构类似的临时表，该临时表记录源表主键以及根据所有字段的数据计算出来，每次进行数据抽取时，对源表和临时表进行的比对。 日志：在业务系统中添加系统日志表，当业务数据发生变化时，更新维护日志表内容，依据日志表进行抽取。 常用数据抽取类型 增量抽取 1 数据抽取方式 目录 数据抽取类型 2 小结 3 数据接口：通过数据库系统提供的数据接口直接查询并抽取目的数据，抽取的字段和数据量都可以定制。 文件传输：通过txt、xls、csv、xml等文件载体进行数据传输，通常对数据文件的抽取都是全量抽取。 ETL工具：ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目前很多ETL工具都能很好的兼容各种不同类型的数据源系统，包括结构化、半结构化数据源，常用ETL工具有IBM公司的DataStage、Infomatica公司的Powercenter、免费ETL工具Kettle等。 常见数据抽取方式 从数据源抽取数据拥有多种方式，常见方式如下： 1 分析方法与过程 目录 数据抽取类型 2 小结 3 本章主要介绍了常见数据抽取的类型与抽取方式。数据抽取的类型按抽取的数据量可分为全量抽取和增量抽取两种，而数据抽取的方式多种多样，常见方式为通过数据源系统中的数据接口传输，通过文件传输和通过ETL工具传输。 小结 * *