数据仓库技术分享课件.pptxVIP

技术分享数据仓库————

01初识数仓

PART/01什么是数据仓库数据库--OLTP：（on-linetransactionprocessing）翻译为联机事务处理 记录某类业务事件的发生，如购买行为，银行交易行为，当行为产生后，系统会记录是谁在何时何地做了何事，这样的一行（或多行）数据会以增删改的方式在数据库中进行数据的更新处理操作，要求实时性高、稳定性强、确保数据及时更新成功，像公司常见的业务系统如ERP，CRM，OA等系统都属于OLTP数据仓库--OLAP：（On-LineAnalyticalProcessing）翻译为联机分析处理 当数据积累到一定的程度，我们需要对过去发生的事情做一个总结分析时，就需要把过去一段时间内产生的数据拿出来进行统计分析，从中获取我们想要的信息，为公司做决策提供支持，这时候就是在做OLAP了 OLAP支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果

PART/01什么是数据仓库

PART/01什么是数据仓库数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策(DecisionMakingSupport)。 比尔·恩门（BillInmon）《BuildingtheDataWarehouse》数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等。数仓并不是数据的最终目的地，而是为主句最终的目的地做好准备。包括：清洗，转义，分类，充足，合并，拆分，统计等。

PART/01什么是数据仓库1、面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域——用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关2、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

PART/01什么是数据仓库3、相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供查询，数据进入数据仓库以后，一般将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。4、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

02数据仓库架构

PART/02数仓架构经典数仓其实数据仓库很早之前就有了很多传统的数仓技术，例如基于Teradata的数据仓库，只不过在大数据背景下我们开始抛弃传统构建数仓的技术，转而选择了更能满足当前时代需求的大数据技术，当然大数据技术并没有完整的、彻底的取代传统的技术实现，我们依然可以在很多地方看见它们的身影数据源ETL存储分析、及展示

PART/02数仓架构经典数仓问题随着数据量暴增、数据源多样化、服务对象变化，传统经典数仓的不足凸显：传统数据分析更注重对高密度、高价值的结构化数据的业务数据分析，对非结构化、半结构化数据的处理，如图像、文本、音频的存储和分析非常薄弱。由于传统数据仓库采用结构化存储，当数据从其他系统导入数据仓库时，我们通常会引入ETL过程。ETL与具体的业务有很强的的绑定性，通常需要一个专门的人或者团队与业务部门进行连接，并决定如何进行数据清洗、转换及加载。随着异构数据源的增加，如视频、文本、图片，要分析数据内容并进入数据仓库，就需要非常复杂的ETL，导致ETL过于庞大且臃肿数据库范式等约束规则重点解决数据冗余问题，以确保数据的一致性。原则上，数据仓库原始数据是只读的，所以这些约束条件将成为影响性能的因素。数据量过大时性能称为瓶颈。

PART/02数仓架构离线数仓Hadoop生态的出现从几个维度解决了传统数仓在数据分析中遇到的瓶颈：分布式计算。多节点并行计算，强调数据的局部性，并尽量减少节点间的数据传输。分布式存储。将一份大文件分成若干份，没分独立放在一个节点上。涉及到文件拷贝、碎片化、管理等操作。检索与存储结合。早期大数据系统中，存