云计算实验报告2.pdf

云计算实验报告2

太

原

科

技

大

学实验报告2021年10月14

日

实验时间：16时00分至18时00分

专业

姓名

学号

班级

课程名称

实验名称Hadoop平台安装实验2

同组者

指导教师

成绩

一、实验目标：

第1页共8页

在大数据时代，存在很多开源的分布式数据采集、计算、存

储技术，本实验将熟悉并搭建几种常用的大数据采集、处理分析

技术环境。

实验二需要在笔记本上搭建Hadoop集群，实验报告根据教

程对笔记本上创建虚拟机搭建Hadoop集群的步骤进行了说明。

包含所有需要安装的软件与服务的版本，安装路径，安装方法

等。

二、实验原理：

1.单机模式：Hadoop默认模式、即非分布式模式(本地模

式)、无需进行其他配置即可运行非分布式，即java单进程，方

便进行调试。

2.伪分布式模式：

Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以

分离的java进程来运行，节点既作为NameNode也作为

DataNode，同时，读取的是HDFS中的文件。

3.分布式模式：使用多个节点构成集群环境来运行Hadoop。

三、实验内容：

以伪分布式模式安装Hadoop平台四、实验设备：

个人笔记本电脑虚拟街软件：VMwareWorkstation

系统CentOS-7-_86_64-Everything-20__3.iso阿里云

contos-7镜像站点：centos/7/isos/_86_64/五、实验步骤：：

第2页共8页

将hadoop-2.7.3.tar.gz，拷贝到CentOS

中的~/software目录下1、将Hadoop

压缩包，解压缩到用户主目录的dt目录下；$cd~

$mkdirdt

$cddt

$tar-z_vf~/software/hadoop-2.7.3.tar.gz

2、打开/etc/profile配置文件，配置hadoop环境变量:

e_portHADOOP_HOME=/home/hduser/dt/hadoop-2.7.3

e_portPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3、保存。然后执行/etc/profile文件(让配置生效)：

$source/etc/profile配置Hadoop:1、配置

$HADOOP_HOME/etc/hadoop/目录中如下的配置文件：

1)hadoop-env.sh两个文件中都做：

e_portJAVA_HOME=/usr/local/jdk1.8.0_162

2)core-site._ml

注：如果没有hddata/tmp目录，要先在磁盘上创建。

configuration

property

namefs.defaultFS/name

valuehdfs://localhost:8020//value

/property

property

第3页共8页

namehadoop.tmp.dir/name

value/