hadoop-1.0.0学习笔记.docx

Hadoop 1.0.0学习笔记安装JDK,配置环境JAVA环境变量export JAVA_HOME=/home/ligang/jdk1.6.0_26export JRE_HOME=/home/ligang/jdk1.6.0_26/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH安装Hadoop-1.0.0下载hadoop文件，地址为：/coases.html，下载完成后解压hadoop-1.0.0.tar.gzsudo tar xzf hadoop-1.0.0.tar.gz配置Hadoop环境变量export HADOOP_INSTALL=/home/ligang/hadoop-1.0.0export PATH=$PATH:$HADOOP_INSTALL/bin查看hadoop版本输入 hadoop version命令后输入下图，则安装hadoop成功修改配置文件解压hadoop-1.0.0/ hadoop-core-1.0.0.jar去解压后的hadoop-core-1.0.0文件夹下,复制文件core-default.xml，hdfs-default.xml，mapred-default.xml三个文件到hadoop-1.0.0/conf/下,删除hadoop-1.0.0/conf/文件夹下的core-site.xml，hdfs-site.xml，mapred-site.xml，将复制过来的三个文件的文件名中的default修改为site在hadoop-1.0.0文件夹同级创建文件夹hadoop，打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点，修改为/home/${}/hadoop/hadoop-${}这样hadoop生成的文件会放入这个文件夹下.修改name节点为对应的value节点，修改为hdfs://localhost/安装ssh执行命令安装ssh：sudo apt-get install ssh基于空口令创建一个新SSH密钥，以启用无密码登陆ssh-keygen -t rsa -P -f ~/.ssh/id_rsa执行结果：cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys测试ssh localhost测试结果：输入yes再次输入ssh localhost：成功之后，就不需要密钥格式化HDFS文件系统输入指令:hadoop namenode –format启动和终止守护进程启动和终止HDFS和MapReduce守护进程，键入如下指令启动start-all.sh(start-dfs.sh,start-mapred.sh)出错了，JAVA_HOME is not set需要修改文件，打开hadoop-1.0.0/conf/ hadoop-env.sh将红线以内部分注释解开,修改为本机JAVA_HOME再次执行启动命令start-all.sh停止stop-all.sh(stop-dfs.sh,stop-mapred.sh) 到此，hadoop就已经安装完成了Hadoop文件系统查看hadoop所有块文件执行命令:hadoop fsck / -files –blocks执行结果:此结果显示，hadoop文件系统中，还没有文件可以显示将文件复制到hadoop文件系统中在hadoop文件系统中创建文件夹,执行命令：hadoop fs –mkdir docs复制本地文件到hadoop文件系统中执行命令：hadoop fs -copyFromLocal docs/test.txt \hdfs://localhost/user/ligang/docs/test.txt复制hadoop文件系统中的文件回本地,并检查是否一致复制:hadoop fs -copyToLocal docs/test.txt docs/test.txt.bat检查:md5 docs/test.txt docs/text.txt.bat检查结果若显示两个md5加密值相同，则文件内容相同。 查看HDFS文件列表执行命令:hadoop fs –ls执行结果：再次查看文件系统文件块执行命令：hadoop fsck / -files –blocks执行结果如图:此处为文件备份数量，可以调整，打开hadoop-1.0.0/conf/ hdfs-site.xml文件,此处修改文件备份数量