hadoop环境配置入门教程.docx

ubuntu 下 安装配置 hadoop 1.0.4第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，我的环境操作系统：wmv虚拟机中的ubuntu12.04hadoop版本：hadoop-1.0.4(听说是稳定版就下了)eclipse版本：eclipse-jee-indigo-SR2-win321.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是2.安装ssh这个也不用说了2.把hadoop-1.0.4.tar.gz拖到虚拟机中，解压,比如: /home/wys/Documents/hadoop-1.0.4/ (有的还单独建了个用户,为了舍去不必要的麻烦我都是用root用户来操作的)3.修改hadoop-1.0.4/conf 下面的core-site.xml文件，如下：configurationproperty name/name valuehdfs://28:9000/value/propertyproperty namehadoop.tmp.dir/name value/home/wys/Documents/tmp/value/property/configuration28这个是虚拟机中ubuntu的ip,听说用localhost，都不行，我没试过，直接写上ip地址了tmp是预先创建的一个目录4.修改hadoop-env.sh把 export JAVA_HOME=xxxxxx 这行的#号去掉，写上jdk的目录路径5.修改hdfs-site.xml如下：configuration property namedfs.replication/name value1/value /property property namedfs.permissions/name valuefalse/value /property/configuration说明：为了以后用eclipse开发出现各种问题，就把权限关了！6.修改mapred-site.xmlconfigurationproperty namemapred.job.tracker/name value28:9001/value /property/configuration这里我也用了本机ip7.启动hadoop为了方便启动，我就把hadoop配置到了环境变量(配置完记得重启)：export HADOOP_HOME=/home/wys/Documents/hadoop-1.0.4export JAVA_HOME=/home/wys/Documents/jdk1.6.0_24export JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$HADOOP_HOME/bin把这个复制到/etc/profile 文件中HADOOP_HOME JAVA_HOME根据实际情况而定！重启之后格式化分布式文件系统：hadoop namenode -format接着启动hadoop：start-all.sh成功后会看到一下信息：starting namenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/h adoop-root-namenode-ubuntu.outlocalhost: starting datanode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-datanode-ubuntu.outlocalhost: starting secondarynamenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-secondarynamenode-ubuntu.outstarting jobtracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-jobtracker-ubuntu.outlocalhost: starting tasktracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-tasktracker-ubuntu.out现在就可以在浏览器中输入地址：28:5003028:50070均可以查看到一些信息假如这个28:50070地址无法访问 是因为 hadoop.tmp.dir