Hadoop 2.3.0分布式集群搭建图文.doc

Hadoop 2.3.0分布式集群搭建图文 一、 集群环境 2 二、 Centos6.3安装 2 1. 名称类型设定 2 2. 内存大小分配 2 3. 虚拟硬盘设定 3 4. 硬盘文件类型选择 4 5. 磁盘文件分配设定 5 6. 虚拟位置和大小 7 三、 配置centos 7 1. 配置网络 7 2. 数据传输设定 11 四、 安装 12 1. 安装JDK 12 2. 安装openssl 13 3. 安装hadoop 13 五、 分布式集群搭建 13 1. 增加虚拟电脑 13 2. 网络设置 16 3. ssh的无密码登陆配置 17 4. Hadoop集群配置 18 5. 格式化HDFS 20 六、 启动集群 21 1. 启动集群 21 2. 监控集群资源 21 集群环境 物理机：WIN7 64位 虚拟机：VirtualBox 4.3.10 Linux版本：centos 6.3 Hadoop版本：Hadoop 2.3.0 其他：JDK、Openssl Centos6.3安装 名称类型设定 内存大小分配 根据物理机情况设定内存大小。 虚拟硬盘设定 可以选择创建或者使用已有的硬盘文件。 硬盘文件类型选择 virtualbox格式vdi，VMWare格式vmdk，微软格式vhd（virtualbox不支持），Parallels格式hdd（virtualbox不支持）。 vdi转vmdk：VBoxManage.exe clonehd 原镜像.vmdk 目标镜像.vdi --format VDI vdi转vhd ：VBoxManage.exe clonehd 原镜像.vdi 目标镜像.vmdk --format VMDK vmdk转vhd：VBoxManage.exe clonehd 原镜像.vdi 目标镜像.vhd --format VHD 磁盘文件分配设定 根据个人物理机配置，固定大小运行更快。 虚拟位置和大小 配置centos 配置网络 Virtualbox上配置虚拟电脑的网络为桥接模式 虚拟电脑上配置网络 [root@hadoop1 ~]# setup 选择网络配置 选择设备配置 选择etho 网络配置 关闭防火墙 [root@hadoop1 ~]# system-config-firewall disable 数据传输设定 共享粘贴板和拖放设置为双向，方便数据在物理机和虚拟机之间双向传输。 安装增加功能 虚拟机启动后，菜单栏选择：设备-安装增加功能。 粘贴板和拖放设定为双向 共享粘贴板和拖放设置为双向，方便数据在物理机和虚拟机之间双向传输。 安装 为了避免权限问题，整个安装过程使用root账号。 相关软件的安装推荐使用yum，避免版本选择，也会自动下载依赖的包。 安装JDK 安装JDK [root@hadoop1 ~]# yum install JDK 配置环境变量 编辑模式打开profile文件： [root@hadoop1 ~]# gedit /etc/profile 在文件的最后追加： export JAVA_HOME=/usr/java/jdk1.7.0_51 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar: export PATH=$JAVA_HOME/bin:$PATH 重新加载环境变量： [root@hadoop1 ~]# source /etc/profile 测试是否安装成功: [root@hadoop1 ~]# java -version 安装openssl [root@hadoop1 ~]# yum install openssl 安装hadoop 下载必威体育精装版版本hadoop安装包，以下以hadoop2.3.0为例。 解压： tar -zxvf hadoop-2.3.0.tar.gz 移动到合适目录： mv hadoop-2.3.0 /home 配置环境变量gedit /etc/profile 在文件的最后追加： export HADOOP_HOME=/home/hadoop-2.3.0 export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 测试是否安装成功: [root@hadoop1 ~]# hadoop -version 分布式集群搭建 以搭建一个master，两个slave的集群为例。 增加虚拟电脑 复制出两个虚拟机复本: 复制过程选择重新初始化所有网卡: 选择完全复制： 复制完后设置新复制的虚拟机为hadoop2和hadoop3： 新增的两台虚拟机，参考前面的数据传输设定，设置双向传输。 网络设置 复制的虚拟机网络都要根据以下步骤重新设置。 修改mac [root@h