- 1、本文档共4页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
hadoop文档
安装前准备工作1、创建hadoop用户,sudo useradd –m Hadoop –s /bin/bash2、接着使用如下命令修改密码,按提示输入两次密码?hadoop?:sudo passwd Hadoop3、可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题,sudo adduser Hadoop sudo4、注销当前用户,以hadoop登陆5、更新apt,sudo apt-get update安装SSH server、配置SSH无密码登陆1、集群、单节点模式都需要用到SSH登陆(类似于远程登陆,你可以登录某台Linux电脑,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:sudo apt-get install openssh-server2、安装后,可以使用如下命令登陆本机:ssh localhost3、首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:(1)exit # 退出刚才的 ssh localhost(2)cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost(3)ssh-keygen -t rsa # 会有提示,都按回车就可以(4)cat id_rsa.pub authorized_keys # 加入授权再以ssh localhost登陆即可安装java环境1、为图方便,这边直接通过命令安装 OpenJDK,sudo apt-get install openjdk-7-jre openjdk-7-jdk2、OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/jvm/java-7-openjdk-i86 ,可通过命令dpkg -L openjdk-7-jdk查看到)。安装完后就可以使用了,可以用?java -version?检查一下3、配置一下 JAVA_HOME 环境变量,我们在 ~/.bashrc 中进行设置gedit ~/.bashrc在文件最前面添加如下单独一行(注意 = 号前后不能有空格),并保存:export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd644、使环境变量生效(1)source ~/.bashrc # 使变量设置生效(2)echo $JAVA_HOME # 检验是否设置正确安装Hadoop1、下载hadoop-2.x.y.tar.gz和?hadoop-2.x.y.tar.gz.mds2、判断文件完整性(1)cd ~/下载 # 通过浏览器下载,默认保存在 “下载” 目录中(2)cat ./hadoop-2.6.0.tar.gz.mds | grep MD5 # 列出md5检验值(3)md5sum ./hadoop-2.6.0.tar.gz | tr a-z A-Z # 计算md5值,并转化为大写,方便比较若文件不完整则这两个值一般差别很大3、将 Hadoop 安装至 /usr/local/ 中:(1)cd ~/下载(2)sudo tar -zxvf ./hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中(3)cd /usr/local/(4)sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop(5)sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限4、Hadoop解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示命令用法:(1)cd ./hadoop(2)./bin/hadoopHadoop单机配置(非分布式),运行WordCount1、在hadoop文件夹下创建文件夹input,在input中创建文件test.txt,并任意输入字符串2、运行./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output3、输出结果 ./output/*Hadoop伪分布式配置1、修改配置文件 core-site.xml (vim /usr/local/hadoop/etc/hadoop/core-site.xml),将当中的configuration/configuration修改为下面的配置:configuration property namehadoop.tmp.dir/name
文档评论(0)