平台搭建--ubuntu + hadoop0.22.doc

  1. 1、本文档共16页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
平台搭建--ubuntuhadoop0.22

一、安装好虚拟机,设置连接方式为桥接,否则集群不能正常连接 二、重新设置 root 的密码:$sudo passwd root #按照提示输入两次新的密码,并加以确认。 打开“控制面板” –“管理工具”“服务”找到名为“Security Center”的服务双击这个服务,打开属性设置。sudo apt-get install openssh-server 等待好了就可以用SSH Secure Shell Client 链接了。 虚拟机网络可以之后进入命令终端,ifconfig查看IP情况,用ssh连接 五、安装JDK: 1、进入usr目录:cd /usr在当前目录创建目录java:mkdir java 给安装程序赋予权限:chmod +x jdk-6u-linux-i586.bin 5、执行安装命令:./jdk-6u-linux-i586-rpm.bin 6、配置环境变量:编辑/etc/profile 文件:? vi /etc/profile sudo apt-get install vim 按I 键进入编辑状态 在适当位置配置以下内容: export JAVA_HOME=/usr/java/jdk1.6.0_export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar export PATH=$PATH:$JAVA_HOME/bin 完成配置后,按ESC 键,然后输入:wq 保存并退出(:q! 退出不保存) 、使配置文件生效:source /etc/profile 、查看java 版本:java -version 安装eclipse下载eclipse; 2、解压eclipse-SDK-4.2.1-linux-gtk.tar.gz tar -zxvf eclipse-SDK-4.2.1-linux-gtk.tar.gz 产生了一个eclipse的文件。 eclipse的默认启动参数。修改(cd 然后vi)eclipse/eclipse.ini 去掉 --launcher.defaultAction,在下面通过vm指定JVM路径,此后就能直接点击图标启动eclipse。修改如下所示: org.eclipse.platform --launcher.XXMaxPermSize 256m openFile -vmargs -Xms40m -Xmx512m -vm /usr/java/jdk1.6.0_26/bin/java 需要重启才能生效。 4、配置eclipse的mapreduce工程环境。(安装完hadoop以后执行) 将hadoop-0.22.0-eclipse-plugin (环境包)和net.sf.fjep.fatjar_0.0.31(自动打包工具)上传到/opt/eclipse/eclipse/plugins中,然后进入到eclipse中的windows下的preference设置默认路径:/root/hadoop/hadoop-0.22.0。然后就可以新建mapreduce工程了。 七、免密码SSH连接 在这之前必须修改 /etc/hosts与 /etc/hostname 的内容:其中前者为集群中IP和主机名匹配情况,后者为本机主机名。 (1)建立.ssh目录 (所有主机下) #mkdir .ssh (2)生成密钥对 (本地节点) #ssh-keygen -t rsa (1)、(2)两步需要在所有节点上执行,一直按Enter键,就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中 (3)本地节点上执行如下命令 ssh-copy-id -i ~/.ssh/id_rsa.pub root@218.193.126.XX (远程节点) [注: ssh-copy-id 把密钥追加到远程主机的 .ssh/authorized_key 上.] 此时本地节点向远程节点发起SSH连接,只有在第一次登录时需要密码,以后则不需要 #ssh slaveX 八、建立hadoop守护进程 解压缩: 在root下面新建一个hadoop文件夹,将hadoop-0.22.0.tar.gz?传到该文件夹下,然后进入执行:tar?-xvzf?hadoop-0.22.0.tar.gz?命令,将其解压到当前文件夹下,并在/usr/local下建立软连接:ln?-s?/root/hadoop/hadoop-0.22.0?hadoop,可以ll查看当前的链接情况。 修改环境变量配置文件并使之生效:vi

文档评论(0)

xcs88858 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:8130065136000003

1亿VIP精品文档

相关文档