大数据技术应用（国家） 技能点1：系统环境及所需文件 系统环境及所需文件.docx

PAGE9 / NUMPAGES9 系统环境及所需文件 系统环境及所需文件 摘 要：本章节主要对MapReduce的操作做了一个概览，包括配置的步骤以及所需的文件及其对应版本；在本地安装Java环境并作环境变量的配置。 关键词：概览；Java；环境变量； 1. 概览 1.1 安装Eclipse并添加插件 （1）Java下载地址： /technetwork/java/javase/downloads/jdk8-downloads-2133151.html，本实验版本号为：JDK 1.8.0_144。 （2）Eclipse下载地址： /downloads，本实验版本号为：Eclipse 2018-12 (4.10.0)。 （3）插件下载地址： /winghc/hadoop2x-eclipse-plugin，本实验版本号为：hadoop-eclipse-plugin-2.6.0。 简述：将Hadoop插件添加到eclipse安装目录的“plugins”目录下，即可完成插件的添加。 1.2 建立运行MapReduce程序的依赖环境 （1）本实验远程运行Hadoop的操作系统版本号：CentOS 7-1511。 （2）本实验Hadoop环境版本号：-129。 简述：由于eclipse插件的运行需要用到Hadoop环境的jar包，同时也为了保持Windows环境和远程Hadoop环境的一致性，我们直接将远程的Hadoop环境复制到本地，通过在eclispe中添加“Hadoop installation directory”即可访问到插件运行所需的jar包。再通过配置“Hadoop Location”连接到远程的Hadoop环境。 1.3 建立编写MapReduce程序的依赖包 Hadoop下载地址： /apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz，本实验版本号为hadoop-2.7.7。 简述：由于编写Hadoop程序需要用到Hadoop里面的jar包，为了方便我们直接从官网下载版本一样的Hadoop压缩包，将压缩包里面指定位置下的jar包“Build Path”。Jar包添加完成后，编写WordCount示例代码，借助eclipse将程序打包成jar包，将jar包放入远程Hadoop环境中执行。 本实验Hadoop环境部署在远程主机上，IP地址为4，我们将通过使用本地Windows上安装的Eclipse来连接和操作远程Hadoop环境 。 2. 安装Java 2.1 查看本地Windows的系统类型 图1 系统信息 2.2 下载指定系统类型的Java安装包 进入下载地址： /technetwork/java/javase/downloads/jdk8-downloads-2133151.html。选择合适的Java版本，进入安装页面，点击接受协议，并根据自己的计算机系统选择安装包类型，类似于下图所示： 图2 JDK下载界面 2.3 运行可执行程序 图3 JDK安装界面 2.4 完成安装 图4 JDK完成安装 3. 配置环境变量 依次点击：此电脑-属性-高级系统设置-环境变量。 图5 高级环境变量 图6 环境变量 新建系统变量。 图7 新建系统变量 需要添加三个系统变量，“变量名”分别为：JAVA_HOME，PATH和CLASS_PATH。（注：以下皆是实验环境，应配置为实际路径。） （1）变量名“JAVA_HOME”的变量值应填写为Java的安装目录（要求在能看到“bin”目录的目录下）。 图8 JAVA HOME路径 图9 配置JAVA_HOME变量 （2）变量名“PATH”的变量值应填写为Java bin目录。 图10 Java bin目录 图11 配置JAVA_HOME变量 （3）变量名“CLASS_PATH”的变量值应填写为两个jar包的路径，分别是dt.jar和tools.jar。 图12 dt和tools jar包路径 图13 配置CLASS_PATH变量 配置完成后点击“确定”以载入变量。下面我们验证Java环境。 分别在CMD终端的默认路径下输入“java -version”、“java”和“javac”命令，无报错即为成功。（注：由于输出内容过多，未完全展示。） 图14 查询Java版本号 图15 java命令运行结果 图16 javac命令运行结果 4. 安装xshell远程连接工具包 下载地址： / 运行安装程序，打开xshell，连接到远程Hadoop环境。 图17 终端远程登陆Hadoop界面