大数据运维技术第6章 Hive组件安装配置课件.pptxVIP

Hive相关知识; Hive是基于Hadoop的数据仓库工具，可以用来对HDFS中存储的数据进行查询和分析。Hive能够将HDFS上结构化的数据文件映射为数据库表，并提供SQL查询功能，将SQL语句转变成MapReduce任务来执行。Hive通过简单的SQL语句实现快速调用MapReduce机制进行数据统计分析，因此不必专门开发MapReduce应用程序即可实现大数据分析。 Hive对存储在HDFS中的数据进行分析和管理，它可以将结构化的数据文件映射为一张数据库表，通过SQL查询分析需要的内容，查询Hive使用的SQL语句简称Hive SQL（HQL）。Hive的运行机制??不熟悉MapReduce的用户也能很方便地利用SQL语言对数据进行查询、汇总、分析。同时，Hive也允许熟悉MapReduce开发者们开发自定义的Mappers和Reducers来处理内建的Mappers和Reducers无法完成的复杂的分析工作。Hive还允许用户编写自己定义的函数UDF，用来在查询中使用。;;;6.2 Hive组件架构;6.2 Hive组件架构;6.2 Hive组件架构;;6.3 下载和解压安装文件; Hive组件需要基于Hadoop系统进行安装。因此，在安装Hive组件前，需要确保Hadoop系统能够正常运行。本章节内容是基于之前已部署完毕的Hadoop全分布系统，在master节点上实现Hive组件安装。 Hive组件的部署规划和软件包路径如下： （1）当前环境中已安装Hadoop全分布系统。 （2）本地安装MySQL数据库（账号root，密码Password123$）， 软件包在/opt/software/mysql-5.7.18路径下。 （3）MySQL端口号（3306）。 （4）MySQL的JDBC驱动包/opt/software/mysql-connector-java-5.1.47.jar， 在此基础上更新Hive元数据存储。 （5）Hive软件包/opt/software/apache-hive-2.0.0-bin.tar.gz。;（1）使用root用户，将Hive安装包 /opt/software/apache-hive-2.0.0-bin.tar.gz路解压到/usr/local/src路径下。 [root@master ~]# tar -zxvf /opt/software/apache-hive-2.0.0-bin.tar.gz -C /usr/local/src （2）将解压后的apache-hive-2.0.0-bin文件夹更名为hive； [root@master ~]# mv /usr/local/src/apache-hive-2.0.0-bin usr/local/src/hive （3）修改hive目录归属用户和用户组为hadoop [root@master ~]# chown -R hadoop:hadoop /usr/local/src/hive;6.4 设置Hive环境;6.4.2 安装MySQL数据库;（1）按如下顺序依次按照MySQL数据库的mysql common、mysql libs、mysql client软件包。 [root@master ~]# cd /opt/software/mysql-5.7.18/ # MySQL软件包路径 [root@master ~]# rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm [root@master ~]# rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm [root@master ~]# rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm （2）安装mysql server软件的两个依赖软件包。 [root@master ~]# yum install -y net-tools [root@master ~]# yum install -y perl;（4）修改MySQL数据库配置，在/etc/f文件中添加如表6-1所示的MySQL数据库配置项。 将以下配置信息添加到/etc/f文件symbolic-links=0配置信息的下方。 default-storage-engine=innodb innodb_file_per_table collation-server=utf8_general_ci init-connect=SET NAMES utf8 character-set-server=utf8 添加完成后完整的/etc/f文件内容如下所示。 ;# D