大数据技术原理与案例应用第4章 大数据交互式OLAP多维分析开发实践.pptxVIP

第四章

大数据交互式

OLAP多维分析开发实践

大数据交互式分析技术栈分布式数据仓库HiveHiveSQL操作实践分布式计算框架SparkSQL分布式计算框架Flink关系型API大数据交互式OLAP多维分析实践

4.1大数据交互式分析技术栈

大数据交互式分析应用场景大数据交互式查询分析及联机分析处理（OnlineAnalyticalProcessing，OLAP）多维分析相比大数据批处理、实时处理，侧重于对海量历史数据即席查询。即席查询（AdHocQuery）是指用户根据自己的需求，灵活地选择查询条件，系统能够根据用户选择的查询条件生成相应的统计报表，进而支持商业分析和智能决策。BI（BusinessIntelligence，商业智能），指将企业的不同业务系统（如营销系统、订单系统、客户服务系统、供应链系统等各类业务系统及支撑系统）的数据进行整合、清洗，在保证数据正确性的同时，进行数据分析和处理，并利用合适的查询和分析工具快速、准确地为企业提供报表展现、报表分析，以及决策支持。

大数据交互式分析应用的4个层次数据源的数据收集、数据仓库的数据整合数据SQL引擎及OLAP多维分析引擎的数据查询、分析结果的数据展现

大数据交互式分析应用的通用技术架构数据源的数据收集：可以是通过数据传输及数据同步工具，将保存在HDFS、OSS、RDBMS、NoSQL数据库中的数据同步到数据仓库Hive中，或者直接由ClickHouse、Druid、Presto等分布式实时查询引擎连接读取数据。数据仓库的数据整合：可以选择用Hive构建海量历史数据的、面向主题治理和存储的数据集中仓储层。为了优化实时交互查询分析性能，ClickHouse等大数据组件包含高性能的数据存储能力（列数据库），实现数据仓库存储能力和OLAP多维分析能力。数据SQL引擎及OLAP多维分析引擎的数据查询：HiveSQL、SparkSQL、FlinkSQL提供基于SQL的分布式数据查询，且容易与批处理或批流处理的技术栈统一，是对交互式分析实时性要求不高的主流选择。OLAP多维分析引擎的Kylin、ClickHouse、Druid，提供海量数据交互式查询分析亚秒级的响应。分析结果的数据展现：通过Java的后端程序实现将前端WebUI的查询单击转化为SQL查询，将查询结果可视化展现在WebUI中。也可以通过RestAPI、JDBC与各类可视化探索分析应用或可视化应用结合实现交互式查询。

数据仓库的定义狭义理解数据仓库（DataWarehouse，DW）：是面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。广义理解数据仓库：大数据时代到来之前，数据仓库是指IT业界收集、积累数据，并进行海量历史数据综合分析的技术、工具、系统的总称。

数据生产型系统与数据分析型系统数据生产型系统：数据生产型系统是一类专门用于管理面向事务的应用的信息系统，它的开发是为了满足某种业务功能的需求。数据生产型系统的特征是存储大量“短”的事务，强调快速处理查询。每秒处理查询事务数是数据生产型系统的度量指标。数据分析型系统：数据分析型系统是指从海量综合性、长期性数据中获取新的、有价值结论的系统。在计算机领域，数据分析型系统是一种快速回答多维分析查询的实现方式。数据分析型系统的特征是事务量相对较少，但查询通常非常复杂并且包含聚合计算。对比项数据生产型系统数据分析型系统数据源最原始的数据历史的、归档的数据，一般来源于数据仓库数据更新插入、更新、删除数据，要求快速执行，立即返回结果大量数据装载，花费时间很长数据模型实体关系数据模型多维数据模型数据的时间范围从天到年几年或者几十年查询简单查询，快速返回查询结果复杂查询，执行聚合汇总操作速度快，在表中需要建立索引相对较慢，需要更多的索引所需空间小，只需存储操作数据大，需要存储大量历史数据

数据生产型系统的关系数据模型关系数据模型是由埃德加·弗兰克·科德（Edgar.Frank.Codd）在1970年提出的一种通用数据模型。关系数据模型是以集合论中的关系概念为基础发展起来的。关系数据模型无论是实体还是实体间的联系均由单一的结构类型——关系来表示。关系数据模型被广泛应用于数据处理和数据存储，尤其是在数据库领域现在主流的数据库管理系统几乎都是以关系数据模型为基础实现的。关系数据模型具有3个要素：第一个要素是关系数据模型的数据结构；第二个是关系数据模型的运算，如并、差、积，选择、投影，交、连接、除；第三个是关系数据模型的完整性约束，包括实体完整性、参照完整性和用户自定义完整性。

数据分析型系统的维度数据模型（1/2）维度数据模型简称维度模型（DimensionModel，DM），是数据仓库中最常用的数据模型之一。事实和维度是维度