Hadoop+Spark配置手册-V3完整版.docx

第一章：Hadoop2.6.1伪分布式配置手册

第一步：安装虚拟机环境

虚拟机环境：VMwareworkstation8.0

Centos6.5

文件资源：安装过程中所需要的Centos,Jdk,Hadoop包等可以在

如下地址获取

虚拟机安装：由于机器性能和内存所限，安装虚拟机的时候请调低内存大小，建议调至512M。在安装Centos系统时请选择命令行模式，尽量不要以图形界面安装，要不然在做虚拟机集群的时候会很卡。

关闭防火墙：

用chkconfigiptablesoff命令关linux掉防火墙

配置虚拟机网络访问方式

重启系统

启动网卡：在虚拟机安装好CentOS后，网卡默认没有启动。通过

“ifupeth0”命令启动网卡（如果你的网卡不是eth0,则选则相应网卡）以便后续通过ssh工具将安装文件从windows主机传至虚拟机

第二步:创建Hadoop用户

使用groupadd创建一个的组hadoop命令：groupaddhadoop

向hadoop组中加入hadoop用户：useradd–ghadoop和hadoop

创建hadoop组用户密码：

第三步：配置SSH无密码登录

()

在root用户下修改/etc/ssh/sshd_config，将其中三行的

注释去掉，如下所示：

切换至hadoop用户下，用”ssh-keygen-trsa”命令生成密钥对：ssh-keygen-trsa-P

切换到cd/home/hadoop/目录，修改.ssh文件夹权限为700

chmod700.ssh

进入.ssh目录cd/.ssh生成authorized_keys并将其权限设为600

用sshlocalhost测试结果(CentOS6.5装好以后没有ssh-client，所以还需下载并安装ssh-client才能运行ssh命令yuminstallopenssh-clients)

第四步：安装JDK

在root用户下安装JDK，安装好的jdk在/usr/java下

配置环境变量：

在/etc/profile中加入两个新的变量JAVA_HOME和PATH

#Addenvirableforjdkandhadoop

JAVA_HOME=/usr/java/jdk1.7.0_71

PATH=$PATH:$JAVA_HOME/bin

执行source/etc/profile

验证环境变量：

第五步：安装Hadoop

在root用户下将hadoop文件解压到/usr/local下.

tar-zxvfhadoop-2.6.1.tar.gz-C/usr/local/

将hadoop用户赋予解压后的hadoop文件chown-Rhadoop:hadoophadoop-2.6.1

修该hadoop文件的权限为775

chmod–R755hadoop-2.6.1

修改环境变量

JAVA_HOME=/usr/java/jdk1.7.0_71

$JAVA_HOME/bin:$PATH

HADOOP_HOME=/usr/local/hadoop-2.6.1

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/Sbin

在/var下创建hadoop文件夹用于保存节点数据文件，同时将hadoop组用户赋予该文件夹并将其权限改为775

修改hadoop环境变量文件

分别在如下两个文件中，添加环境变量设置：

${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

${HADOOP_HOME}/etc/hadoop/yarn-env.sh

注明：HADOOP_HOME就是安装hadoop的文件夹，在本示例中即代表”/usr/local”

配置设置如下：

exportJAVA_HOME=/usr/java/jdk1.7.0_75

exportHADOOP_HOME=/usr/local/hadoop-2.5.1

exportHADOOP_LOG_DIR=/var/hadoop/logs

exportHADOOP_COMMON_LIB_NATIVE_DIR=${HA