2023国家开放大学《大数据技术导论》实验报告1-5.docxVIP

国家开放大学：《大数据技术导论》实验报告1-5 《大数据技术导论》实验报告 文末有全文档下载链接(百度网盘) 实验1 Linux操作系统部署内容描述. 实验1 Linux操作系统部署 Linux操作系统应用日益广泛，现已成为主流的网络操作系统。云计算、物联网、移动 互联网和大数据等研究热点与应用领域的出现与发展，都应用了 Linux操作系统。随着 互联网的广泛应用，L i n u x用户也迅速扩展，L i n u x操作系统发挥出越来越大 的作用。 .实验目的 通过Linux操作系统部署的实验，学生可以掌握虚拟机平台VirtualBox及扩展包安装 方法、创建Linux虚拟机方法、安装Linux操作系统方法，进而为大数据Hadoop环境 部署奠定基础。 .实验要求 在了解Linux操作系统安装的相关知识基础之上，通过实例完成下述任务。 (1 )虚拟机平台VirtualBox及扩展包安装。 (2 )创建虚拟机。 (3)安装Ubuntu操作系统。 .实验内容 (1 )制订实验计划。 (2 )虚拟机平台VirtualBox及扩展包安装。 (3 )创建虚拟机。 安装SSH服务端 请在Linux的终端中执行以下命令： 下载安装包： 拷 贝 代 码 sudo wget . 2p2-4_amd64.deb sudo wget . 2p2-4_amd64.deb 安装软件： 拷贝代码 拷贝代码 或者也可用下面方法： II安装Java环境 Java环境可选择Oracle的JDK ,或是OpenJDK ,需要安装1.7以上的版本,这里 直接通过命令安装OpenJDK 8 : 拷贝代码 cd /home/user/Downloadssudo tar -vxf jdk-8u11 -Iinux-x64.tar.gz 安装好JDK后，需要找到相应的安装路径，这个路径是用于配置JAVA_HOME环境 变量的。 拷贝代码vim -/.bashrc 在文件最前面添加如下单独一行（注意=号前后不能有空格）： 拷贝代码 1 接着还需要让该环境变量生效，执行如下代码： 拷贝代码 source -/.bashrc 设置好后需要检验一下是否设置正确： 检验变量值拷贝代码 echo $JAVA_HOME 拷贝代码java -version#与直接执行java -version 一样 拷贝代码$3\/人_1~101\/1￡/环门/箕皿-version 如果设置正确的话，java -version会输出java的版本信息。 2 安装 Hadoop Hadoop包括三种安装模式： ①单机模式：只在一台机器上运行，存储是采用本地文件系统，没有采用分布式文件 系统HDFS ; ②伪分布式模式：存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节 点都在同一台机器上； ③ 分布式模式：存储采用分布式文件系统HDFS ,而且，HDFS的名称节点和数据节点 位于不同机器上。 本节介绍Hadoop的具体安装方法，包括下载安装文件、单机模式配置、伪分布式模式 配置、分布式模式配置等。 下载安装文件 下载文件打开浏览器，访问如下链接进行下载： 拷 贝 代 码 . gz文件将会下载到/home/user/Downloads目录下 安装文件 下载完安装文件以后，需要对文件进行解压。按照Linux系统使用的默认规范，用户安 装的软件一般都是存放在7usr/local/〃目录下。请使用hadoop用户登录Linux系统， 打开一个终端，进行以下操作： 解压 解压到/usr/local中 拷贝ft码 sudo tar -zxf /home/user/Downloads/hadoop-2.7.1.tar.gz -C /u 将文件夹名改为hadoop 拷贝代码cd /usr/local 修改文件权限 拷贝代码 sudo chown -R hadoop ./hadoop 检查Hadoop是否可用 Hadoop解压后即可使用，可以输入如下命令来检查Hadoop是否可用,成功则会显 示Hadoop版本信息： 拷贝代码 cd /usr/local/hadoop ./bin/hadoop version 单机模式配置 Hadoop默认模式为非分布式模式（本地模式），只需配置好hadoop-env.sh文件中 的JAVA_HOME ,无需进行其他配置即可运行。 配置hadoop-env.sh文件中的JAVAJHOME步骤如下： 先输入echo $JAVA_HOME命令查看JAVA_HOME的路径 拷贝代码 vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh 进入编辑界面后找至 lj exoort J A V A_ H 0 M E = $ {J A V A_ H 0