- 1、本文档共30页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop实验手册
Hadoop云计算环境搭建
2011-12
目录
1、编写目的 1
2、概述 1
3、虚拟机下linux系统的安装 1
3.1 使用工具的版本 1
3.2 创建虚拟机 1
3.3 安装Ubuntu 2
3.4 激活root用户 3
3.5 安装增强功能 3
4、Ubuntu系统下相关必要软件的安装 5
4.0 系统文件分布情况 5
4.1 安装SSH 5
4.2 安装vim 5
4.3 安装与配置JAVA 5
5、安装Hadoop 5
5.1 安装 5
5.2 配置JAVA与Hadoop环境 6
6、Hadoop完全分布模式配置 7
6.1 配置各机网络 7
6.2 SSH配置 9
6.3 配置Hadoop 9
6.4 Hadoop运行 11
6.5 测试wordcount案例 11
6.6 HDFS里的一些常用命令 12
7、HBase完全分布模式配置 14
7.1 安装 14
7.2 配置HBase环境 14
8、Hive安装与配置 16
8.1 安装 16
8.2 配置Hive环境 16
1、编写目的
本文的编写主要是为了记录以Hadoop为基础架构的云计算环境的搭建步骤,以及搭建过程中需要进行的配置和注意事项。本次安装涵盖了硬件环境及其操作系统、虚拟机、虚拟机操作系统Ubuntu、jdk、ssh、hadoop、hbase等一系列软件的安装和配置。从第8章开始为补充内容,即Hive的安装与配置。
2、概述
Hadoop是一个分布式存储和分布式计算的开源实现,它采用Master/Slave架构,即它包含一个Master节点,一个或多个Slaves节点,由Master对Slaves进行统一管理。为了节省硬件资源,本次安装在虚拟机上进行。
本次需要安装配置20台虚拟机,每台虚拟机的基本信息如下表:
主机名设置 IP设置 作用 安装软件 NameNode01 Hadoop Master节点 jdk、ssh、hadoop、hbase DataNode01 1 Hadoop Slave节点 Jdk、ssh、hadoop DataNode02 2 Hadoop Slave节点 Jdk、ssh、hadoop DataNode03 3 Hadoop Slave节点 Jdk、ssh、hadoop …. DataNode20 0 Hadoop Slave节点 Jdk、ssh、hadoop 其中——0作为备用IP,以设置SecondNameNode节点。
3、虚拟机下linux系统的安装
3.1 使用工具的版本
VirtualBox-4.0.8-71778-Win.exe
ubuntu-10.04.1-desktop-i386.iso(其他版本可能有问题)
3.2 创建虚拟机
A)打开VirtualBox,新建——新建虚拟电脑,名称用Ubuntu
B)设置内存大小(1G),虚拟机内存一般不要超过实际内存的一半
C)创建硬盘,虚拟硬盘类型选择动态扩展
D)确定虚拟硬盘所在的位置,大小为50G(视硬盘容量适可而行,如果作为实验平台,数据量不大,按默认设置就可以了。)
E)修改启动顺序:去掉软驱,硬盘放在光驱前面
3.3 安装Ubuntu
3.3.1 在设置里,在Storage项里找到ubuntu系统所在的位置
3.3.2 点开始进行安装
A)语言:中文简体;安装Ubuntu10.04.1 LTS
B)地区:亚洲;时区:中国(上海)
C)键盘布局:US
D)清空并使用整个硬盘
E)用户名称设定,
名字用:CloudUser
登录名用grid,即以后的平台操作用户。
名称用NameNode01、DataNode01形式,按序排列命名。
3.4 激活root用户
sudo passwd root 更改root密码(密码统一用ub)
su root 进入root用户,设置root登录密码。
3.5 安装增强功能
安装增强功能后,可以和主机共享数据,这样Ubuntu虚拟机可以访问XP的分区了,默认虚拟机分辨率比较低,安装完增强功能后,可以显示更大的分辨率。
1)切换root用户登录,因为root用户才有权限,设置、安装增强功能。
(注:在ubuntu 11.10下面如果无法运行,可以在终端里面键入sudo sh 然后将VboxLinuxAddition.run拖入终端,回车即可运行安装。安装完成后提示“press return to close this window”,按Enter键即可。)
2)共享数据,选择分配数据空间
进入终端,首先建立在Linux系统里的共享文件夹,/home/grid/share;为了便于访问,给与其全部的权限;同时将vboxsf的共享文件挂载在其上;共享成功,打开文件夹,即可看到相关的文件
您可能关注的文档
最近下载
- 25题固定收益分析岗位常见面试问题含HR问题考察点及参考回答.pdf
- 韶关市2025届高三一模(综合测试一) 英语试卷(含答案).docx
- 工作报告及设计心得20160831.pdf VIP
- SPC导入的钢箱截面在生成变截面时,消隐显示各板件连接错乱.pdf VIP
- Lessonsinlifesaving英国短片剧本.docx VIP
- 2019年注册土木工程师(道路工程)考前培训南京班文件-李 雪.pdf VIP
- 上海市2018-2022年近五年中考数学试卷附答案.pdf VIP
- 城轨车站施工与维护——开挖作业.pptx VIP
- 城轨车站施工与维护——围护结构施工及基坑开挖.pptx VIP
- 铁道概论——单元7.7铁路专用通信系统.pptx VIP
文档评论(0)