3、数据的集成.pptx

数据集成与数据分析实战培训数据集成上北智信产品架构BI门户Excel 报告 数据挖掘Reporting Services 报告 ExcelDashboard财务Reporting Services数据订阅SSASDWDMERP定义化报表SSIS报表分发我的报表Web多维分析CRM数据查询SQL ReportETL监控主数据管理ETL监控数据权限管理客户端分析ETL过程设计最佳实践数据集成是数据仓库中的关键概念。ETL（数据的提取、转换和加载）过程的设计和实现是数据仓库解决方案中极其重要的一部分。ETL 过程用于从多个源提取业务数据，清理数据，然后集成这些数据，并将它们装入数据仓库数据库中，为数据分析做好准备。在上图ETL过程设计的最佳实践中，数据转换操作大致可以分为 6 步： 数据抽取、数据验证、数据清洗、数据集成、数据聚集、数据装载数据抽取过程设计-抽取对象档案数据操作系统中的现有数据更新数据数据验证过程设计 在项目的业务数据分析阶段，您产生了一组数据质量假设。这些假设将指定客户和解决方案提供者双方在数据质量问题上的职责。解决方案提供者通常关心数据清理和增强问题。客户至少要关注仅仅可以在数据源本身中解决的问题，以及与解释数据含义相关的数据质量问题。例如： 丢失的数据恢复。模糊的数据转换。业务操作应用程序相关的数据问题 —— 只能从应用程序本身解决的数据质量问题。 如果没有用正确的方法及时解决业务数据的质量问题，它可能严重影响项目时间表。数据质量假设可能是与客户进行时间表协商的一个好基础。数据验证包括： 属性的有效值（域检查）。 属性在剩余行的环境中是有效的。属性在该表或其他表中相关行的环境中是有效的。关系在该表和其他表中的行间是有效的（外键检查）。数据清洗过程设计 数据清洗是清理有效数据，使之更精确更有意义的过程。数据清洗包括下列等任务： 数据合并。 数据类型和格式的转换。 用于不同目标表的数据分离。数据集成过程设计数据集成是将多个数据源联合成一个统一数据接口来进行数据分析的过程。数据集成是仓库数据转换过程中最重要的步骤，也是数据仓库设计中的关键概念。数据集成可能极其复杂。在该模块中，可以应用数据集成业务规则以及数据转换逻辑和算法。集成过程的源数据可以来自两个或更多数据源；它通常包含不同的连接操作。源数据还可能来自单个数据源；该类型的数据集成通常包含域值的合并和转换。集成结果通常生成新的数据实体或属性，易于终端用户进行访问和理解。数据聚集过程设计数据聚集是收集并以总结形式表达信息的过程。数据聚集通常是数据仓库需求的一部分，它通常是以业务报表的形式出现的。在多维模型中，数据聚集路径是维度表设计中的重要部分。在数据存储库或数据仓库中，数据聚集的级别是逐个（case-by-case）确定的。因为数据仓库几乎仍然都是关系数据模型类型的，所以最好是建议您的客户从数据集市构建业务报表。数据装载过程设计将数据移至中心数据仓库中的目标表通常是 ETL 过程的最后步骤。装入数据的最佳方法取决于所执行操作的类型以及需要装入多少数据。您可以通过两种基本方法在数据库表中插入和修改数据： SQL insert/update/delete 成批 load 实用程序大多数应用程序使用 SQL IUD 操作，因为它们进行了日志记录并且是可恢复的。但是，成批加载操作易于使用，并且在装入大量数据时速度极快。使用哪种数据装入方法取决于业务环境。什么是SSIS？一个全新的SQL Server商业智能应用组件上一个版本的SQL Server中DTS的替代应用新一代的高性能数据整合技术平台SSIS的技术架构控制流（Control Flow）并行的工作流引擎执行“容器”与“任务”数据流（Data Flow）SSIS的核心组件高性能的数据管道图形化的数据转移流程设计包括“源”，“目标”和“数据转换”等组件智能并行操作SSIS架构一些其他的说明……通过SQL Agent来进行调度“Package” 是工作的基础单元一个SSIS的Package是一个XML Package可以保存在文件系统或者SQL Server中SSIS是一个独立的功能组件与SQL Server的其他功能组件有很好的集成SSIS的特点性能能够高效地处理海量并且复杂的数据流程功能 具有许多内建的数据源适配器和转换工具灵活的对象模型允许用户通过定制开发对其进行扩展可视化的开发与调试环境智能智能处理复杂无规则的数据SSIS怎样工作?Control FlowData FlowFTPFlat File SourceOracle ADO.NET SourceSend MailMergeExecute SQLDe-duplicateLoopSplitData FlowDW/OLAPFlat FileSSIS开发环境概貌快