先电大数据平台操作手册-xiandian-bigdata-v2.1.docVIP

版本：先电 Cloud-BigData-v2.1 发布日期：2017年02月21日 南京第五十五所技术开发有限公司 版本修订说明 修订版本 修订时间 修订说明 XD-BigData-v1.3 2015年10月28日 先电大数据平台用户册 XD-BigData-v1.3.1 2016年1月19日 增加GRE、VLAN网络的部署方法 XD-BigData-v1.4 2016年4月12日 为防止与Java Web中MapReduce开发混淆。删除hadoop案例开发 XD-BigData-v2.0 2016年11月1日 更新基于Ambari版本 二次开发的hadoop平台 XD-BigData-v2.0.1 2016年12月30日 更新镜像中与perl版本不兼容问题的解决办法； XD-BigData-v2.0.2 2017年01月10日 升级系统版本为centos7，升级HDP版本至2.4。 XD-BigData-v2.0.3 2017年02月13日 更新软件包logo XD-BigData-v2.0.5 2017年02月21日 更新软件包logo，修改文档“8.2.2基于项目的协同过滤” 表格参数 XD-BigData-v2.1 2017年04月21日 更新用户手册  目 录 1 概述 5 1.1 大数据简介 5 1.2 先电大数据平台简介 5 2 基本环境配置 6 2.1 配置主机名 7 2.2 修改hosts文件 7 2.3 修改yum源 7 2.4 配置ntp 8 2.5 配置SSH 9 2.6 禁用Transparent Huge Pages 9 2.7 安装配置JDK 10 3 配置ambari-server 11 3.1 安装MariaDB数据库 11 3.2 安装配置ambari-server 12 4 配置ambari-agent 14 5 部署管理Hadoop集群 14 5.1 部署Hadoop集群 14 5.2 HDFS运维管理 21 5.3 MapReduce 31 6 部署Hive数据仓库 33 6.1 部署Hive 33 6.1 Hive用户指南 35 7 部署Hbase分布式列数据库 45 7.1 部署HBase 45 7.2 测试验证 47 7.3 HBase用户指南 47 8 部署Mahout数据挖据工具 53 8.1 部署Mahout 53 8.2 测试验证 54 9 部署Pig数据分析平台 55 9.1 部署Pig 55 9.2 Pig简介 55 9.3 运行案例 56 概述 大数据简介 “大数据”是一个体量特别大，数据类别特别庞杂的数据集合，并且这样的数据集无法用传统数据库工具或常规软件工具抓取、管理和处理其内容。大数据技术是指从各种各样类型的庞杂数据中，快速的获取有价值的信息的能力。适用于大数据的技术包括数据挖掘分布式分布式云计算 Apache的Hadoop项目是可靠的、可扩展的、开源的、分布式计算软件。Apache的Hadoop软件库是允许通过相对简单的程序模型构建计算集群为庞大的数据集进行分布式计算的框架。 Hadoop的设计思想可以将计算模式从单节点服务器扩展为数以千计的计算集群，每一个单独的服务器都提供自主的本地计算及存储能力。 对于高可用指标而言，Hadoop软件库自身可以通过检测和故障调试从应用层来实现高可用而不需要关心硬件底层的高可用性。所以提供一个计算集群上层的高可用服务对于集群故障修复而言就显得至关重要。 先电大数据平台简介 先电大数据平台是基于Ambari进行二次开发的Hadoop分布式集群配置管理工具，该平台通过安装向导来进行集群的搭建，简化了集群供应。同时，他还有一个监控组件，叫做Ambari-Metrics，可以提前配置好关键的运维指标（metrics），然后收集集群的中服务、主机等运行状态等信息，通过WEB的方式显示出来。我们可以直接查看Hadoop Core（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。它的用户界面非常直观，用户可以轻松有效地查看信息并控制集群。 先电大数据平台支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。平台使用Ganglia收集度量指标，用Nagios支持系统报警。 图1.1 Ambari结构图 其中Ambari是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent，如图1-1所示。Ambari Server 会读取 Stack 和 Service 的配置文件。当用 Ambari 创建集群的时候，Ambari Server 传