Hadoop大数据技术与项目实战 实训指导书——2.3.9 MapReduce案例-词频统计.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

MapReduce案例——词频统计实训指导书

一、任务描述

本任务要求根据给定文本文件中的内容，统计输出每一个单词出现的总次数。

该任务实施过程中，首先准备好输入数据，根据输入数据明确输出结果，接下编写

三个类，第一个是Mapper业务类，获取到文本内容，程序按照要求的格式进行切分，

输出Key和Value值，此处，Key为每一个单词，对应的Value均为1，第二个是Reducer

业务类，汇总输出每个Key即每个单词出现的总次数，第三个是Driver驱动类，获取配

置信息，指定相应的输入输出类型，以及数据的输入输出路径。最后运行程序进行测试，

首先进行本地测试，程序运行正确后，运行结果会保存在本地，集群测试正确后，结果

会上传到指定的HDFS路径中。

二、能力目标

1.能正确理解MapReduce计算框架的工作原理

2.能理解并编写Map阶段及Reduce阶段的逻辑代码

3.能理解并编写Driver驱动类程序代码

4.程序能通过本地测试及集群测试

三、任务准备

1.IDEA开发软件

2.启动Hadoop集群

四、任务实施

1.创建Maven工程

1

山西职业技术学院《Hadoop大数据技术与项目实战》

打开IDEA软件，单击File菜单，选择New子菜单中的Project菜单项，在弹出的

窗口中，选择“Maven”，单击“Next”按钮，如下图所示。

在弹出的NewProject对话框中，Name框中输入项目名称JavaMRTest，Artifactld

框中会同步出现项目标识符JavaMRTest，Location框中输入项目存放路径，该路径可以

自定义设置，此处设置为D:\oftenSoftWare\IdeaProject\JavaMRTest，Groupld框中输入

域名反写及业务模块名称，此处设置为com.data.hadoop，单击“Finish”按钮，如下图所

示。

2

山西职业技术学院《Hadoop大数据技术与项目实战》

在打开的项目窗口中，打开pom.xml文件，导入MapReduce相关依赖，pom.xml

文件完整内容如下。

?xmlversion1.0encodingUTF-8?

projectxmlnshttp://maven./POM/4.0.0

xmlns:xsihttp://www./2001/XMLSchema-instance

xsi:schemaLocationhttp://maven./POM/4.0.0

http://maven./xsd/maven-4.0.0.xsd

modelVersion4.0.0/modelVersion

groupIdcom.data.hadoop/groupId

artifactIdJavaMRTest/artifactId

version1.0-SNAPSHOT/version

properties

project.build.sourceEncodingUTF-8/project.build.sourceEncoding

hadoop.version3.3.0/hadoop.version

/properties

dependencies

dependency

3

山西职业技术学院《Hadoop大数据技术与项目实战》

groupIdorg.apache.hadoop/groupId

artifactIdhadoop-c