大数据技术原理与应用 第三章 分布式文件系统HDFS.ppt

3.7.3 HDFS常用Java API及应用实例 利用Java API与HDFS进行交互 实例：利用hadoop 的java api检测伪分布式文件系统HDFS上是否存在某个文件？ 准备工作：在Ubuntu系统中安装和配置Eclipse 第一步:放置配置文件到当前工程下面（ eclipse工作目录的bin文件夹下面） 第二步：编写实现代码 3.7.3 HDFS常用Java API及应用实例 利用Java API进行交互，可以使用软件Eclipse编写Java程序。 （1）在Ubuntu中安装Eclipse 利用Ubuntu左侧边栏自带的软件中心安装软件，在Ubuntu左侧边栏打开软件中心 3.7.3 HDFS常用Java API及应用实例 打开软件中心后，呈现如下界面 3.7.3 HDFS常用Java API及应用实例 在软件中心有哪些信誉好的足球投注网站栏输入“ec”，软件中心会自动有哪些信誉好的足球投注网站相关的软件 3.7.3 HDFS常用Java API及应用实例 点击如下图中Eclipse，进行安装 3.7.3 HDFS常用Java API及应用实例 安装需要管理员权限，Ubuntu系统需要用户认证，弹出“认证”窗口，请输入当前用户的登录密码 3.7.3 HDFS常用Java API及应用实例 ubuntu便会进入如下图的安装过程中,安装结束后安装进度条便会消失。 3.7.3 HDFS常用Java API及应用实例 点击Ubuntu左侧边栏的有哪些信誉好的足球投注网站工具，输入“ec”，自动有哪些信誉好的足球投注网站已经安装好的相关软件,打开Eclipse 3.7.3 HDFS常用Java API及应用实例 （2）在Eclipse创建项目 第一次打开Eclipse,需要填写workspace(工作空间)，用来保存程序所在的位置，这里按照默认，不需要改动，如下图 3.7.3 HDFS常用Java API及应用实例 点击“OK”按钮，进入Eclipse软件。开始创建项目，选择顶部菜单File—New—Java Project,如下图 3.7.3 HDFS常用Java API及应用实例 输入项目名称，本教程输入的项目名称是“Dblab”，其他不用改动，点击“Finish”按钮即可。 3.7.3 HDFS常用Java API及应用实例 为项目加载所需要用到的jar包 如何获取jar包 Java API所在的jar包都在已经安装好的hadoop文件夹里，路径：/usr/local/hadoop/share/hadoop(如果读者安装的hadoop不在此目录，请找到jar包所在的文件夹) 3.7.3 HDFS常用Java API及应用实例 在所在项目中加载jar包,具体操作如下：在所选的Eclipse项目(Dblab)上右键点击—弹出菜单中选择Properties—Java Build Path—Libraries—Add External JARS 3.7.3 HDFS常用Java API及应用实例 3.7.3 HDFS常用Java API及应用实例 编程实例 利用Hadoop 的Java API检测伪分布式文件系统HDFS上是否存在某个文件？ 下面编写一个简单的程序来测试伪分布式文件系统HDFS上是否存在input.txt文件？ 第一步:放置配置文件到当前工程下面 需要把集群上的core-site.xml和hdfs-site.xml(这两文件存在/hadoop/etc/hadoop目录下)放到当前工程项目下，即eclipse工作目录的bin文件夹下面。 3.7.3 HDFS常用Java API及应用实例 import?org.apache.hadoop.conf.Configuration;??? import?org.apache.hadoop.fs.FileSystem;?? import?org.apache.hadoop.fs.Path;?? public?class?Chapter3?{???? ????public?static?void?main(String[]?args)?{?? ??????????try?{?? ??????????????String?filename?=? hdfs://localhost:9000/user/hadoop/test.txt;?? ??????????????Configuration?conf?=?new?Configuration();?? ??????????????FileSystem?fs?=?FileSystem.get(conf); ??????????????if(fs.exists(new?Path(filename))){ ??????????????????System.out.printl