Hadoop实验课第一讲.pptx

Hadoop的安装与配置;主要内容;准备与配置安装环境;安装JDK;export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64 export HADOOP_HOME=/home/hadoop(安装hadoop的路径) export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 环境变量生效：source /etc/profile 验证jdk 是否安装成功：使用 java –version，出现如下信息 如果不是刚才安装的版本，证明ubuntu没有把我们安装的JDK设为默认的，需手动设置成默认JDK ;安装及配置SSH;将生成的公钥追加到授权的key中去 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 验证是否成功 ssh –version ssh localhost 退出ssh使用命令exit;安装与配置Hadoop;伪分布模式的安装 官网上下载稳定版本的hadoop包 解压后修改几个文件 指定JDK的安装位置：/home/xx/hadoop/conf/hadoop-env.sh: ;配置HDFS的地址及端口号 /home/xx/hadoop/conf/core-site.xml: 如果此文件内容是空的，那就去hadoop/share/hadoop/templates/conf下面去拷一个文件。这是hadoop模板文件夹。 ;修改HDFS文件的备份方式。默认的备份方式为3，单机版需修改为1。 /home/xx/hadoop/conf/hdfs-site.xml: ;配置JobTracker的地址及端口 /home/xx/hadoop/conf/mapred-site.xml: ;启动hadoop前格式化文件系统HDFS /home/xx/hadoop/bin/hadoop NameNode –format 启动Hadoop /home/xx/hadoop/bin/start-all.sh 验证是否安装成功 打开浏览器 http://localhost:50030(MapReduce 的Web页面) http://localhost:50070(HDFS 的Web页面) 查看各节点状态/home/xx/hadoop/bin/hadoop dfsadmin -report 也使用其他服务命令启用部分服务  ;完全分布式模式的安装和配置  ;修改主机名  ;配置hosts文件 所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为ip  ;SSH免密码登入  ;在namenode上配置hadoop  ;向各节点复制hadoop  ;格式化HDFS  ;启动hadoop /home/xx/hadoop/bin/start-all.sh  ; 新增一个节点的做法  ;小结