使用Hadoop架设云端系统.PDF

使用Hadoop架設雲端系統 配置 Hadoop實驗平台 •可使用虛擬技術 Virtual Box 、Xen或 Vmware虛擬 軟體，一次建立 3-5個Linux • 建議執行Hadoop平台最低硬體需求 – 2GHz 以上的2或 4核心處理器 – 4GB DRAM – IDE或 SATA硬碟 250GB 以上 – 100Mbps以上的網路卡與交換器 配置 Hadoop實驗平台 • 虛擬主機配置 •作業系統Linux (Ubuntu 12.04) •記憶體 512MB •硬碟容量 8GB • Hadoop 雲端系統hadoop-1.1.2 Hadoop實驗平台配置方式 hdp0 (00) Hadoop NameNode Master JobTracker hdp1 hdp2 hdp3 (01) (02) (03) More Hadoop Slaves hdpX ● ● ● ● ● ● DataNode DataNode DataNode TaskTracker TaskTracker TaskTracker 安裝Hadoop 雲端運算系統套件 • 每台伺服器安裝 –作業系統 ：Ubuntu Linux Server Edition – 雲端系統：Hadoop-1.1.2 + HDFS + Hbase –程式開發：Java 7 •實驗系統架構 – Master-hdp0 – Name node, Job tracker – Slave-hdp1 – Data node, Task tracker – Slave-hdp2 – Data node, Task tracker – Slave-hdp3 – Data node, Task tracker 安裝Hadoop 雲端系統 • 為了管理方便，請建立一個hadoop帳號 – $ sudo adduser hadoop • 下載hadoop-xxxx.tar.gz後在hadoop的 home directory解壓縮 – $ tar zxvf hadoop-1.1.2.tar.gz • hadoop-1.1.2 ：$ wget +下載網址 .tw/Unix/Web/apache/hadoop/common/hadoop- 1.1.2/hadoop-1.1.2.tar.gz 安裝Hadoop 雲端系統 • 其他hadoop 必備軟體 – Installing Oracle Java7 JDK $ sudo apt-get update $ sudo add-apt-repository ppa:webupd8team/java $ sudo apt-get install oracle-java7 -installer – Installing ssh $ sudo apt-get install ssh $ sudo apt-get install openssh-server $ sudo apt-get install rsync 編輯主機設定檔 • 主機設定檔：/etc/hosts – $ sudo nano /etc/hosts localhos