hadoop安装步骤hadoop安装步骤.docx

本次环境一共三台服务器，JAVA使用的版本是jdk1.6.0_45，zookeeper-3.4.5，hadoop-2.0.0，hive-0.10.0，hbase-0.94.6主机名IP地址用途vmtmstorm0178namenode、jobtracker monitor0473datanode、tasktracker monitor0170datanode、tasktracker 对于hadoop来说，在hdfs看来节点分为namenode、node只有一个，datanode可以是很多；在mapreduce看来节点分为jobtracker、tasktracker，jobtracker只有一个，tasktracker有多个。我这里是将namenode和jobtracker部署在同一节点上，datanode和tasktracker部署在其它节点上，安装jdk，上传到/root目录下，执行chmod a+x jdk-6u14-linux-x64.bin./jdk-6u14-linux-x64.bin将安装目录移动到/app目录下mkdir/appmv jdk1.6.0_45 /app建立链接:mkdir -p /app/java/; (-p确保目录名称存在，如果目录不存在的就新创建一个) ln -sf /app/jdk1.6.0_45/app/java/latest/(-f:链结时先将与 dist 同档名的档案删除-s:进行软链结(symbolic link))配置JAVA的环境变量vi /etc/profile添加如下内容：export JAVA_HOME=/app/jdk1.6.0_45export PATH=$JAVA_HOME/bin:$PATH让添加的环境变量生效执行如下命令： source /etc/profile; java –version配置网络以root账户登录每台服务器，并执行如下操作：vi /etc/hosts添加如下内容：78 vmtmstorm0173 monitor0470 monitor01注：在所有服务器的/etc/hosts文件中添加如上内容；同时，修改windows下该文件，使得个人的笔记本也能识别主机名 c:\windows\system32\drivers\etc\hosts 中添加如上内容。配置SSH互信SSH互信：在目标机器上，预先设置好经过认证的key文件，当需要访问目标机器时，目标机器通过key文件，对访问者进行自动认证，从而实现互信。在任意一台服务器上，以bdp账号登陆(密码123)执行如下命令，生成bdp账号的密钥对 （这里是主机执行）/usr/bin/ssh-keygen -t rsa cd ~/.ssh/cp id_rsa.pub authorized_keys chmod 600 authorized_keys 将~/.ssh目录拷贝覆盖到集群其他节点的bdp用户目录下 scp -r .ssh/73:~/ scp -r .ssh/70:~/ 注意，要确保/etc/ssh/sshd_config 的RSAAuthentication和PubkeyAuthentication为yes，（打开认证方式）改好后重启ssh服务 　/sbin/service sshd restart执行 ssh `hostname` 测试是否配置成功 操作系统参数优化 （每台机器，且以root操作）4.1防火墙配置：关闭selinux / iptables (每台机器，root权限)关闭iptables 停止服务：service iptables stop关闭服务自动启动：chkconfig --del iptables 关闭selinux 修改/etc/selinux/config里SELINUX=disabled 4.2 关闭swapiness，减少swap使用倾向 (每台机器，root权限)当系统有swap时会很慢，所以让系统最大限度的使用物理内存（默认vm.swappiness = 60） 修改/etc/sysctl.conf,增加一行 vm.swappiness = 0echo vm.swappiness = 0 /etc/sysctl.conf 动态生效 sysctl -w vm.swappiness=0 （ -w?? 临时改变某个指定参数的值）查看是否生效 cat /proc/sys/vm/swappiness （/proc 可以在该目录下获取系统信息，这些信息是在内存中由系统自己产生的）注：sysctl.conf是一个用于在系统运作中查看及调整系统参数的工具4.3最大打开文件数和最大进程数limits.conf (每台机器，root权限)Linux默认是1024，对于分布