linux下的hadoop配置.pdf

上海电力学院计算机与信息工程学院 撰写人 : 周耀君 QQ:648134235 Hadoop 部署、配置与运行 扉言:此文档为自己部署过程中的记录。配置后演示了单节点、单机伪分布和两台机 器之间的分布运行、并对伪分布和完全分布做了初步对比以增进理解，最后演示了在 eclipse下运行hadoop 自带例子 wordcount 的步骤。 ===================================================== 系统配置 ===================================================== (一)资源需求 ➢ Linux Ubuntu 9.10 //必威体育精装版版本可上官方网站免费下载 //也可以向 Ubuntu 社区申请免费安装 ➢ Hadoop 0.20.0 包 //必威体育精装版版本可在 Apache 提供的镜像服务器下载 // → download → 镜像服务器 →hadoop ➢ Sun-java6-jdk 包 //在终端机里输入:apt-get install sun-java6-jdk //系统会自动下载包以及所有的依存包 同时进行包的安装 ➢ SSH 包(为远程登录会话提供安全性协议) //在终端机里输入:apt-get install ssh ➢ Eclipse 包 //官方下载必威体育精装版版本:/downloads/ (二)配置流程 1. 安装 ubuntu 9.04 2. 更新 deb 软件包列表 $ sudo apt-get update 3. 安装系统更新 $ sudo apt-get upgrade 4. 安装 JDK - 1 - 上海电力学院计算机与信息工程学院 撰写人 : 周耀君 QQ:648134235 $ sudo apt-get install sun-java6-jdk //默认路径在/usr/lib/jvm 安装时需要 TAB 键选择 OK 5. 设置 java-6-sun 为默认的 java 程序 $ sudo update-alternatives --config java //JDK 唯一 不需选择 $ sudo update-java-alternatives -s java-6-sun 6. 设置 CLASSPATH 和 JAVA_HOME 系统环境变量 $ sudo gedit /etc/environment 添加以下两行内容: CLASSPATH=.:/usr/lib/jvm/java-6-sun/lib JAVA_HOME=/usr/lib/jvm/java-6-sun 7. 调整系统虚拟机的优先顺序 $ sudo gedit /etc/jvm 在文件顶部添加一行 /usr/lib/jvm/java-6-sun 如果文件/etc/jvm 不存在则自己新建 8. 多节点分布式环境下的两个必要条件 a、每个节点有相同的用户名 如 shiep205 b、hadoop 文件路径相同 如/home/shiep205/hadoop 9. 下载 ha