hadoop+hbase+zookeeper安装说明.docx

一、环境1主机规化集群中包括3个节点：hadoop01为Master，其余为Salve，节点之间局域网连接，可以相互ping通。机器名称地址hadoop000hadoop001hadoop03022 软件版本hadoop-1.2.1.tar.gzzookeeper-3.4.6.tar.gzhbase--hadoop1-bin.tar.gz二、准备工作，三台机器都需要做，将三台机器selinux，iptables停用1停用selinux vi /etc/selinux/config将SELINUX=disabled2 安装JDK使用已有的/usr/inp/javavi /etc/profile在最后添加JAVA_HOME=/usr/inp/javaPATH=$PATH:$JAVA_HOME/binexport JAVA_HOME PATH[root@hadoop01 java]# source /etc/profile??让其java命令立即生效[root@hadoop01 java]# java?? 执行java命令，如果能正常执行就表示java安装完成3 添加一个hadoop用户，用来运行hadoop集群 useradd hadoopecho hadoop |passwd --stdin hadoop4 做三台机器之间做双机互信，原因master通过远程启动datanode进程和tasktracker进程，如果不做双机互信，会导致每次启动集群服务都会需要密码vi /etc/hosts将hosts文件分别复制到另外两台。修改这个文件etc/sysconfig/network这个文件里的主机名.NETWORKING=yesHOSTNAME=hadoop01三台机子分别改主机名5 切换到hadoop用户，对其用做双机互信，先在三台机器先执行ssh-keygen生成公钥与私钥。将公钥复制到别的机器，需要对hadoop01，hadoop03，都做相同的动作。[hadoop@hadoop01 ~]$ssh-keygen??-t??rsa（这个命令将为hadoop上的用户hadoop生成其密钥对，询问其保存路径时直接回车采用默认路径，当提示要为生成的密钥输入passphrase的时候，直接回车，也就是将其设定为空密码。生成的密钥对id_rsa，id_rsa.pub，默认存储在/home/hadoop/.ssh目录下然后将id_rsa.pub的内容复制到每个机器(也包括本机)的/home/dbrg/.ssh/authorized_keys文件中，如果机器上已经有authorized_keys这个文件了，就在文件末尾加上id_rsa.pub中的内容，如果没有authorized_keys这个文件，直接复制过去就行）[hadoop@hadoop01 ~]$?cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys[hadoop@hadoop01 ~]$ ssh-copy-id -i hadoop02[hadoop@hadoop01 ~]$ ssh-copy-id -i hadoop03[hadoop@hadoop02 ~]$ ssh-copy-id -i hadoop01[hadoop@hadoop03?~]$ ssh-copy-id -i hadoop01切换到root用户，重启sshd服务service sshd restart6 同步时间，三台机器启用ntpd服务，另外两台执行相同的操作vi /etc/resolv.conf????nameserver 0nameserver 00??????[root@hadoop01 ~]# crontab -e*/5 * * * * /usr/sbin/ntpdate ntp.api.bz /dev/null7 Linux 打开文件数1024限制的原理以及解决办法1、/etc/pam.d/login 添加?session required???? /lib/security/pam_limits.so?注意看这个文件的注释?2. /etc/security/limits.conf 添加?www????????? –??? nofile?????? 1006154?www 是一个用户，如果是想所有用户生效的话换成 * ，设置的数值与硬件配置有关，别设置太大了。?-----------------------------------------------------------------------------?3. 修改 /etc/rc.local?? 添加?echo 8061540 /proc/sys/fs/file-max?做完3个步骤，就可以了。?三、安