2.2、安装配置Hadoop.PPT

陈 辉 2016年3月 1、必须软件 硬件要求： 内存：=2GB（能运行三个虚拟机，每个512M内存） 硬盘：=60GB（能运行三个虚拟机，每个20GB内存） 软件要求： 虚拟机：Wmware Workstation 9.0 Linux：CentOS 6.4 JDK：JDK1.8 Hadoop：Hadoop 1.2.1 Eclipse 2、安装过程 （1）安装虚拟机 （2）安装CentOS （3）安装JDK （4）修改HostName、Hosts列表 （5）配置SSH无密钥登录 （6）安装配置Hadoop （7）安装Eclipse （8）Hadoop实战 2.1、SSH无密钥登录 （1）在Master节点上执行 ssh-keygen? -t? rsa 这个命令将为Master节点当前用户生成其密钥对，询问其保存路径时直接回车采用默认路径，当提示要为生成的密钥输入passphrase的时候，直接回车，也就是将其设定为空密码。生成的密钥对id_rsa，id_rsa.pub，默认存储在/home/chh/.ssh目录下。 2.1、SSH无密钥登录 （1）在Master节点上执行 将 id_rsa.pub的内容复制到本机)的/home/chh/.ssh/authorized_keys文件中 cp id_rsa.pub authorized_keys 然后/home/chh/.ssh/authorized_keys文件复制到集群的其他节点中 scp authorized_keys slave:~/.ssh/ 2.1、SSH无密钥登录 （1）在Master节点上执行 测试SSH无密钥登录 ssh slave1 若不需密码即可成功登录则表示安装配置成功 2.2、安装配置Hadoop （1）在Master节点上执行 下载Hadoop ?? 到官网下载 解压Hadoop到/home/chh\app/下 ???????? tar xzvf hadoop-1.2.1.tar.gz 2.2、安装配置Hadoop （1）在Master节点上执行 概念 HDFS: ????? NameNode ?：管理节点 ????? DataNode?? ：数据节点 ????? SecondaryNamenode : 数据源信息备份整理节点 ? MapReduce ?????? JobTracker? ：任务管理节点 ?????? Tasktracker? ：任务运行节点 ? 2.2、安装配置Hadoop （1）在Master节点上执行 ? 配置文件 ?????? core-site.xml?? common属性配置 ?????? hdfs-site.xml??? HDFS属性配置 ?????? mapred-site.xml? MapReduce属性配置 ?????? hadoop-env.sh???? hadooop 环境变量配置 修改?hadoop-env.sh 2.2、安装配置Hadoop （1）在Master节点上执行 配置?Hadoop 配置hadoop-env.sh 配置conf/core-site.xml、 conf/hdfs-site.xml、 conf/mapred-site.xml文件 修改?hadoop-env.sh,配置JDK export JAVA_HOME=/home/chh/app/java1.8.0.40