Hive系统架构与剖析.ppt

LOGO Hive系统架构与剖析 Contents Hive设计目标 Hive体系结构 Hive工作机制 Hive应用场景 Hive是什么 Hive是构建在Hadoop之上的数据仓库平台 Hive是一个SQL解析引擎，它将SQL语句转译成MapReduce任务，并在Hadoop上执行 Hive表是HDFS的一个文件目录，一个表名对应一个目录名，如果有分区表的话，分区值是子目录 Hive设计目标 Hive的设计目标是使Hadoop上的数据操作与传统SQL相结合，让熟悉SQL编程的开发人员能够轻松向Hadoop平台迁移 Hive提供类似SQL的查询语言HQL， HQL在底层被转换为相应的MapReduce操作 Hive在HDFS上构建数据仓库来存储结构化的数据，这些数据一般来源于HDFS上的原始数据，使用Hive可以对这些数据执行查询、分析等操作 Contents Hive设计目标 Hive体系结构 Hive工作机制 Hive应用场景 Hadoop体系结构 Hadoop架构解析 HDFS,MapReduce,Hbase,Hive,Pig,Sqoop,Zookeeper Hive体系结构 Hive的组成 用户接口：Hive Shell、Thrift客户端、JDBC、 ODBC Thrift服务器 元数据库： Metastore是Hive元数据的集中存放地，MySQL、Derby 解析器：解释器、编译器、优化器、执行器 Hive调用方式 Hive Shell：使用命令行进行交互 Thrift：基于socket通讯，支持跨语言 。Hive Thrift 服务简化了在多编程语言中运行Hive命令。 Hive的Thrift 绑定支持 C++，Java，PHP，Python和Ruby JDBC：封装了Thrift， Java应用程序可以在指定的主机和端口连接到在另一个进程中运行的hive服务器 ODBC：Hive的ODBC驱动允许支持ODBC协议的应用程序连接到Hive Contents Hive设计目标 Hive体系结构 Hive工作机制 Hive应用场景 Hive运行机制 解析器：解释器、编译器、优化器、执行器 编译器是Hive的核心部分，编译器由解析器、语法分析器、逻辑计划生成器、查询计划生成器 编译器将Hive SQL 转换成一组操作符(Operator) 操作符是Hive的最小处理单元 每个操作符处理代表一道HDFS操作或MapReduce作业 Hive运行机制 Contents Hive设计目标 Hive体系结构 Hive工作机制 Hive应用场景 Hive优势 并行计算 充分利用集群的CPU计算资源、存储资源 处理大规模数据集 使用SQL，学习成本低 Hive优势 Hive支持标准SQL语法，免去了编写MR程序的过程，减少了开发成本 让精通SQL技能，但是编程技能相对较弱的分析师能够在HDFS大规模数据集上运行查询，适合数据分析师快速开发分析应用程序 Hive是为大数据批量处理而生的，解决了传统的关系型数据库在大数据处理上的瓶颈 Hive具有良好的扩展性，拓展功能方便 一条HQL与一个上百行MR程序对比 select word, count(*) from ( select explode(split(sentence. )) word from article ) t group by word Hive应用场景 海量数据处理 数据挖掘 数据分析 SQL是商务智能工具的通用语言(通过ODBC这一桥梁)， Hive有条件和这些BI产品进行集成 Hive不适用场景 复杂的机器学习算法 复杂的科学计算 Hive是针对批量长时间数据分析设计的，但是Hive不能做到交互式的实时查询 这就让我们不得不去探索一种更快、更据交互性的分析框架 Impala的出现也许可以解决这一问题 * * * * LOGO * * * *