Ubuntu 安装Hadoop.doc

题目：Hadoop简介及安装体验 关键字：分布式框架 Hadoop 开源 框架 安装 体验 目录 Hadoop介绍 3 技术背景： 3 核心技术： 3 目前的应用 4 安装环境 4 安装hadoop0.21.0 4 配置阶段： 5 运行测试阶段: 7  Hadoop介绍 官网的介绍 一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。 技术背景： 当今，随着通讯技术，移动设备和嵌入式设备的发展，产生了越来越多的数据，我们现在产生的数据量远比以往任何一个时代产生的都要多，但是，服务器端的硬件设备的发展 核心技术： Map/Reduce HDFS MapReduce Hadoop implements a computational paradigm named Map/Reduce, where the application is divided into many small fragments of work, each of which may be executed or re-executed on any node in the cluster. In addition, it provides a distributed file system (HDFS) that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both MapReduce and the Hadoop Distributed File System are designed so that node failures are automatically handled by the framework. 目前的应用 随着国内“云”概念的升温，数据中心的大量建设和投入使用，势必会带来一个管理的问题，Hadoop作为外国一个优秀开源的分布式系统框架，十分具有应用的潜力。目前很多大公司或者研究单位都采用该框架，部分名单：/hadoop/PoweredBy 安装环境 系统 Ubuntu 我用的是11 Java 安装jdk1.6.0_23 安装hadoop0.21.0 将hadoop0.21.0.tar.gz复制到usr下面的local文件夹内 sudo cp hadoop的路径 /usr/local 2、进入到local目录下，解压hadoop0.21.0.tar.gz cd /usr/local sudo tar -xzf hadoop0.21.0.tar.gz 3、为了方便管理，将解压后的文件夹名改为hadoop sudo mv hadoop0.21.0 hadoop 4、创建一个名为hadoop的用户和用户组 a、创建一个名为hadoop的用户组 sudo addgroup hadoop b、创建一个名为hadoop的用户，归到hadoop用户组下 sudo adduser --ingroup hadoop hadoop (注1：前一个hadoop为用户组名，后面的是用户名，之所以名字一样是为了方便统一管理 注2：执行后会有一些信息需要填写，可以不填，都敲回车，用系统默认的即可，大概5个吧) c、用gedit打开etc下的sudoers文件 sudo gedit /etc/sudoers d、在 root ALL=(ALL) ALL 下面添加如下一行，然后保存关闭gedit