Hadoop2集群搭建2.doc

Hadoop2集群搭建 文档修订摘要 日期 修订号 描述 著者 审阅者 2014.10.9 V1.0 新建 陈云 Hadoop2集群搭建 1 〇、前序 4 0.1、前景概序 4 0.2、搭建环境 4 0.3、技术在于分享 4 1、 基本配置 5 1.1、安装JDK 5 1.2、设置主机名 5 1.3、设置主机名于IP地址的映射 5 1.4、关闭防火墙 6 1.5、创建专有的用户 6 1.6、设置无密码登录 6 2、 Hadoop2.2.0搭建 7 2.1、安装maven 7 2.2、编译hadoop2.2.0源码 8 2.3、配置节点文件slaves 11 2.4、配置Hadoop的core-site.xml文件 12 2.5、配置Hadoop的hdfs-site.xml文件 13 2.6、配置Hadoop的mapred-site.xml文件 14 2.7、配置Hadoop的hadoop-yarn.xml文件 15 2.8、配置Hadoop的hadoop-env.sh文件 17 2.9、配置Hadoop的yarn-env.sh文件 17 2.10、用scp命令拷贝文件到其他机器上面 17 2.11、格式化启动hadoop 17 2.12、用jps查看进程 17 3、 zooKepper 18 3.1、版本以解压位置 18 3.2、配置zoo.config文件 18 3.3、拷贝 19 3.4、配置myid文件 19 3.5、启动 19 4、 HBase 20 4.1、版本及解压 20 4.2、修改hbase-env.sh文件 20 4.3、修改hbase-site.xml文件 20 4.4、修改regionservers文件 22 4.5、复制 22 4.6、启动 23 5、 Hive 23 5.1、为Hive建立相应的MySql账号 23 5.2、建立Hive专用数据库 23 5.3、版本及解压 24 5.4、配置Hive 24 5.5、进入Hive 25 6、 Sqoop 25 6.1、版本及解压 25 6.2、重命名配置文件 25 6.3、修改配置文件sqoop-env.sh 26  〇、前序 0.1、前景概序 由于工作需要，需要搭建hadoop2集群，搞了几天，各种问题，各种版本不兼容，最后终于摸索出自己的一套搭建出hadoop2集群的方法，在此总结成文档. 0.2、搭建环境 由于目前别人只给了4台服务器，一台命为mysql26，另外一台mysql27。Hadoop28，hadoop29.64位系统的，目前阿帕奇网站上面只提供32为的hadoop版本，所有在搭建的时候还需要重新编译源代码。 版本选择为： hadoop2.2.0+zooKapper3.4.5+hbase-0.96+Hive0.13+sqoop-1.4.5 0.3、技术在于分享 欢迎广大爱好大数据的朋友一起讨论研究大数据技术，本人网名：cloudlove。QQ：505779259. 基本配置 1.1、安装JDK 1.1.1、把jdk放到/usr/java目录下,然后cd /usr/java目录下 1.1.2、赋予执行权限 chmod u+x jdk-6u24-linux-i586.bin 1.1.3、使用./jdk-6u24-linux-i586.bin进行解压缩 1.1.4、重命名，执行命令 mv jdk1.6.0_24 jdk1.6 1.1.5、设置环境变量，编辑文件vi /etc/profile，增加两行记录 export JAVA_HOME=/usr/local/jdk1.6 export PATH=.:$JAVA_HOME/bin:$PATH 保存退出 1.1.6、执行命令source /etc/profile 验证：执行命令java -version 1.2、设置主机名 1.2.1、通过vi ?/etc/sysconfig/network设置hostname 通过 vi /etc/hosts?? 先创建组：groupadd hadoop， 然后创建用户：useradd -g hadoop ，然后修改 hadoop用户的密码：passwd ，建议将密码设置 的短点将用户加到sodu列表 vi /etc/sudoers ?( ?ALL=(ALL) ? ? ?ALL) 1.6、设置无密码登录 1.6.1、用cloud用户登入hadoop26，cd到用户目录下，如/home/cloud/ 运行ssh-keygen –t rsa??(连续 3次回车即可) .ssh拷贝到其他server上 scp ~/.ssh/id_rsa.pu