实验3-熟悉常用的HDFS操作-答案.pdfVIP

..

实验2熟悉常用的HDFS操作

1实验目的

1.理解HDFS在Hadoop体系结构中的角色；

2.熟练使用HDFS操作常用的Shell命令；

3.熟悉HDFS操作常用的JavaAPI。

2实验平台

操作系统：Linux

Hadoop版本：2.6.0或以上版本

JDK版本：1.6或以上版本

JavaIDE：Eclipse

3实验内容和要求

1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：

提示：

1)部分Shell命令的参数路径只能是本地路径或者HDFS路径。

2)若Shell命令的参数既可以是本地路径，也可以是HDFS路径时，务必注意区分。为保

证操作正确，可指定路径前缀hdfs:///或者

3)注意区分相对路径与绝对路径

4)具体命令的说明可参考教材或ject-dist/hadoop-common/

（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户

指定是追加到原有文件末尾还是覆盖原有的文件；

Shell命令:

检查文件是否存在:./hdfsdfs-test-etext.txt(执行完这一句不会输出结果，需要继续输入命令

)

追加命令:./hdfsdfs-appendTotext.txt

覆盖命令1:./hdfsdfs-copyFromLocal-flocal.txttext.txt

覆盖命令2:./hdfsdfs-cp-ftext.txt

也可以使用如下命令实现：

（如下代码可视为一行代码，在终端中输入第一行代码后，直到输入fi才会真正执行）：

if$(./hdfsdfs-test-etext.txt);

then$(./hdfsdfs-appendTotext.txt);

else$(./hdfsdfs-copyFromLocal-flocal.txttext.txt);

fi

Java代码：

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.*;

’.

..

importjava.io.*;

publicclassHDFSApi{

/**

*判断路径是否存在

*/

publicstaticbooleantest(Configurationconf,Stringpath)throwsIOException{

fs=(conf);

returnfs.exists(newPath(path));

}

/**

*复制文件到指定路径

*若路径已存在，则进行覆盖

*/

publicstaticvoidcopyFromLocalconf,Stringlocal,Stringremote)throwsIOException{

fs=(conf);

PathlocalPath=newPath(local);

PathremotePath=newPath(remote);

/*fs.copyFromLocalFile第一个参数表示是否删除源文件，第二个参数表示是否覆

盖*/

fs.copyFromLocal,true,localPath,remotePath);

fs.close();

}

/**