hadoop文档.docx

安装前准备工作1、创建hadoop用户,sudo useradd –m Hadoop –s /bin/bash2、接着使用如下命令修改密码，按提示输入两次密码?hadoop?:sudo passwd Hadoop3、可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题,sudo adduser Hadoop sudo4、注销当前用户，以hadoop登陆5、更新apt,sudo apt-get update安装SSH server、配置SSH无密码登陆1、集群、单节点模式都需要用到SSH登陆（类似于远程登陆，你可以登录某台Linux电脑，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：sudo apt-get install openssh-server2、安装后，可以使用如下命令登陆本机：ssh localhost3、首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：(1)exit # 退出刚才的 ssh localhost(2)cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost(3)ssh-keygen -t rsa # 会有提示，都按回车就可以(4)cat id_rsa.pub authorized_keys # 加入授权再以ssh localhost登陆即可安装java环境1、为图方便，这边直接通过命令安装 OpenJDK，sudo apt-get install openjdk-7-jre openjdk-7-jdk2、OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/jvm/java-7-openjdk-i86 ，可通过命令dpkg -L openjdk-7-jdk查看到)。安装完后就可以使用了，可以用?java -version?检查一下3、配置一下 JAVA_HOME 环境变量，我们在 ~/.bashrc 中进行设置gedit ~/.bashrc在文件最前面添加如下单独一行（注意 = 号前后不能有空格），并保存:export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd644、使环境变量生效（1）source ~/.bashrc # 使变量设置生效（2）echo $JAVA_HOME # 检验是否设置正确安装Hadoop1、下载hadoop-2.x.y.tar.gz和?hadoop-2.x.y.tar.gz.mds2、判断文件完整性（1）cd ~/下载 # 通过浏览器下载，默认保存在 “下载” 目录中（2）cat ./hadoop-2.6.0.tar.gz.mds | grep MD5 # 列出md5检验值（3）md5sum ./hadoop-2.6.0.tar.gz | tr a-z A-Z # 计算md5值，并转化为大写，方便比较若文件不完整则这两个值一般差别很大3、将 Hadoop 安装至 /usr/local/ 中：（1）cd ~/下载（2）sudo tar -zxvf ./hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中（3）cd /usr/local/（4）sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop（5）sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限4、Hadoop解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示命令用法：（1）cd ./hadoop（2）./bin/hadoopHadoop单机配置（非分布式），运行WordCount1、在hadoop文件夹下创建文件夹input，在input中创建文件test.txt,并任意输入字符串2、运行./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output3、输出结果 ./output/*Hadoop伪分布式配置1、修改配置文件 core-site.xml (vim /usr/local/hadoop/etc/hadoop/core-site.xml)，将当中的configuration/configuration修改为下面的配置：configuration property namehadoop.tmp.dir/name