先电大数据平台操作手册-xiandian-bigdata-v21.docVIP

先电大数据平台 先电大数据平台 用户手册 用户手册 用户手册 版本：先电 Cloud-BigData-v2.1 发布日期：2017年02月21日 南京第五十五所技术开发有限公司 版本修订说明 修订版本 修订时间 修订说明 XD-BigData-v1.3 2015年10月28日 先电大数据平台用户册 XD-BigData-v1.3.1 2016年1月19日 增加GRE、VLAN网络的部署方法 XD-BigData-v1.4 2016年4月12日 为防止与Java Web中MapReduce开发混淆。删除hadoop案例开发 XD-BigData-v2.0 2016年11月1日 更新基于Ambari版本 二次开发的hadoop平台 XD-BigData-v2.0.1 2016年12月30日 更新镜像中与perl版本不兼容问题的解决办法； XD-BigData-v2.0.2 2017年01月10日 升级系统版本为centos7，升级HDP版本至2.4。 XD-BigData-v2.0.3 2017年02月13日 更新软件包logo XD-BigData-v2.0.5 2017年02月21日 更新软件包logo，修改文档“8.2.2基于项目的协同过滤” 表格参数 XD-BigData-v2.1 2017年04月21日 更新用户手册  目 录 TOC \o 1-2 \h \z \u HYPERLINK \l _Toc472063139 1 概述 PAGEREF _Toc472063139 \h 5 HYPERLINK \l _Toc472063140 1.1 大数据简介 PAGEREF _Toc472063140 \h 5 HYPERLINK \l _Toc472063141 1.2 先电大数据平台简介 PAGEREF _Toc472063141 \h 5 HYPERLINK \l _Toc472063142 2 基本环境配置 PAGEREF _Toc472063142 \h 6 HYPERLINK \l _Toc472063143 2.1 配置主机名 PAGEREF _Toc472063143 \h 7 HYPERLINK \l _Toc472063144 2.2 修改hosts文件 PAGEREF _Toc472063144 \h 7 HYPERLINK \l _Toc472063145 2.3 修改yum源 PAGEREF _Toc472063145 \h 7 HYPERLINK \l _Toc472063146 2.4 配置ntp PAGEREF _Toc472063146 \h 8 HYPERLINK \l _Toc472063147 2.5 配置SSH PAGEREF _Toc472063147 \h 9 HYPERLINK \l _Toc472063148 2.6 禁用Transparent Huge Pages PAGEREF _Toc472063148 \h 9 HYPERLINK \l _Toc472063149 2.7 安装配置JDK PAGEREF _Toc472063149 \h 10 HYPERLINK \l _Toc472063150 3 配置ambari-server PAGEREF _Toc472063150 \h 11 HYPERLINK \l _Toc472063151 3.1 安装MariaDB数据库 PAGEREF _Toc472063151 \h 11 HYPERLINK \l _Toc472063152 3.2 安装配置ambari-server PAGEREF _Toc472063152 \h 12 HYPERLINK \l _Toc472063153 4 配置ambari-agent PAGEREF _Toc472063153 \h 14 HYPERLINK \l _Toc472063154 5 部署管理Hadoop集群 PAGEREF _Toc472063154 \h 14 HYPERLINK \l _Toc472063155 5.1 部署Hadoop集群 PAGEREF _Toc472063155 \h 14 HYPERLINK \l _Toc472063156 5.2 HDFS运维管理 PAGEREF _Toc472063156 \h 21 HYPERLINK \l _Toc472063157 5.3 MapReduce PAGEREF _Toc472063157 \h 31 HYPERLINK \l _Toc472063158 6 部署Hive数据仓库 PAGEREF _Toc4720631