大数据技术实践实验报告.pdfVIP

大数据技术实践实验报告--第1页

大数据技术实践实验报告(总59

页)

--本页仅作为文档封面，使用时请直接删除即可--

--内页可以根据需求调整合适字体及大小--

大数据技术实践实验报告--第1页

大数据技术实践实验报告--第2页

实验报告

课程名称：大数据技术实践

实验项目：大数据平台

实验仪器：PC机

学院：计算机学院

专业：计算机科学与技术

班级姓名：*

学号：*

日期：2019-5-9

指导教师：*

成绩：

2

大数据技术实践实验报告--第2页

大数据技术实践实验报告--第3页

3

大数据技术实践实验报告--第3页

大数据技术实践实验报告--第4页

一.实验目的

1.熟练掌握大数据计算平台相关系统的安装部署

2.理解大数据MapReduce计算模型，并掌握MapReduce程序开发

3.掌握Hive的查询方法

4.掌握Spark的基本操作

二.实验内容

1.Hadoop完全分布模式安装

2.Hadoop开发插件安装

3.MapReduce代码实现

4.Hive安装部署

5.Hive查询

6.SparkStandalone模式安装

7.SparkShell操作

三.实验过程

Hadoop开发插件安装

实验步骤：

开发工具以及Hadoop默认已经安装完毕，安装在/apps/目录下。

2.在Linux本地创建/data/hadoop3目录，用于存放所需文件。

切换目录到/data/hadoop3目录下，并使用wget命令，下载所需的插件。

4

大数据技术实践实验报告--第4页

大数据技术实践实验报告--第5页

2.将插件，从/data/hadoop3目录下，拷贝到/apps/eclipse/plugins的插件

目录下。

3.进入ubuntu图形界面，双击eclipse图标，启动eclipse。

5.在Eclipse窗口界面，依次点击Window=OpenPerspective=Other。

弹出一个窗口。

5

大数据技术实践实验报告--第5页

大