HDFS开发步骤.docx

HDFS开发步骤开发环境Eclipse。首先建立以一个Java Project。(举例名字为copyFile)向Java Project中添加class文件（举例名字为copyFile），编辑代码。右键工程选择build path，在弹出窗口中在Libraries一栏点击Add External JAR…添加hadoop-core.jar包。右键工程，选择build project，这时会生成一个相应的class文件。右键工程，选择Export，弹出窗口选择java下面的Jar file。在弹出窗口中作如下图选择，并给JAR file命名。在上一步生成的jar文件即可部署到hadoop上了，可以将jar文件拷贝到一个方便的位置。我是这么做的：在/home/nslab/HadoopInstall/hadoop 文件夹下创建文件夹myproject，然后将jar文件拷贝到这个目录下。然后就可以执行jar文件了。举例代码如下;import java.io.File;import java.io.IOException;import java.util.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;public class copyFile {static void usage (){System.out.println(Usage : copyFile inputfile output file);System.exit(1);} static void printAndExit(String str){System.err.println(str);System.exit(1);} public static void main (String[] argv) throws IOException{long times=0;long start,end;Configuration conf = new Configuration();FileSystem fs = FileSystem.get(conf);if (argv.length != 2)usage(); Path inFile = new Path(argv[0]);Path outFile = new Path(argv[1]);try{start = System.currentTimeMillis();fs.copyFromLocalFile(inFile, outFile);end = System.currentTimeMillis();times=times+end-start;System.out.println(time cost= + times); } catch (IOException e) {System.out.println(Error while copying file);}finally { }}}执行jar文件命令如下：bin/hadoop jar myproject/copyFile.jar copyFile ./README.txt /home/read2.txt jar包 class名称 本机文件 HDFS文件名注意在上传过程中，出现IOEXCEPTION 或No Route to Host错误时，一般是网络问题，我的解决方式关闭DataNode上的防火墙。