devops入门实战手册.doc

DevOps入门实战手册 北京宽连十方数字技术有限公司 技术研究部 （2011年9月） 目录 1 概述 4 1.1 什么是Hadoop？ 4 1.2 为什么要选择Hadoop？ 5 1.2.1 系统特点 5 1.2.2 使用场景 5 2 术语 5 3 Hadoop的单机部署 6 3.1 目的 6 3.2 先决条件 6 3.2.1 支持平台 6 3.2.2 所需软件 6 3.2.3 安装软件 7 3.3 下载 7 3.4 运行Hadoop集群的准备工作 7 3.5 单机模式的操作方法 7 3.6 伪分布式模式的操作方法 8 3.6.1 配置 8 3.6.2 免密码ssh设置 9 3.6.3 执行 9 4 Hadoop集群搭建过程手记 12 4.1 免密码SSH设置 12 4.2 Hadoop软件安装 12 4.3 Master(85)配置 13 4.4 Slave(60,245上)配置 14 4.5 初始化和启动hadoop集群 15 4.5.1 初始化文件系统 15 4.5.2 启动Hadoop 15 4.5.3 停止Hadoop 17 4.6 测试 17 4.7 管理界面与命令 19 4.7.1 hdfs运行状态界面 19 4.7.2 Map-reduce的运行状态界面 20 4.7.3 直接的命令行查看 20 4.7.1 运行的进程查看 21 5 架构分析 23 5.1 HDFS 23 5.1.1 HDFS的三个重要角色 24 5.1.2 HDFS设计特点 25 5.2 MapReduce 26 5.2.1 算法介绍 26 5.2.2 Hadoop框架下的mapreduce 28 5.3 综合架构分析 29 6 Hadoop的应用 31 7 系统维护 31 7.1 Hadoop的系统监控 31 7.2 Hadoop中的命令（Command）总结 32 7.3 NameNode与JobTracker单点故障说明 32 7.4 经验总结 32 7.5 如何在一个hadoop集群新增或删除一些机器而不重启 33 7.5.1 新增节点 33 7.5.2 删除节点 34 7.6 其它日常问题说明 36 7.6.1 datanode启动失败，各slave节点的namespaceIDs与masters不同 36 7.6.2 taskTracker和jobTracker 启动失败 37 7.6.3 Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 37 7.6.4 Too many fetch-failures 38 7.6.5 能够启动datanode，但无法访问，也无法结束的错误 38 7.6.6 java.io.IOException: Could not obtain block: 38 7.6.7 java.lang.OutOfMemoryError:?Java?heap space 38 7.6.8 解决hadoop OutOfMemoryError问题： 39 7.6.9 Hadoop java.io.IOException: 39 7.7 防火墙的端口开放要求 39 7.7.1 与HDFS有关的地址及端口属性 39 7.7.2 与MapReduce?有关的地址及端口属性 41 8 附录 42 8.1 hadoop历史 42 8.2 Hadoop大记事 43 8.3 Hadoop的几个主要子项目 44 8.4 官方集群搭建参考 44 8.4.1 配置文件 44 8.4.2 集群配置说明 44 前言 身在IT圈的你，可能已经注意到了最近圈子里的热门词语紧紧围绕着以下几个领域－云计算，nosql以及DevOps, 与Web2或者社会化网络不同，上述三者并不是在网络上产生内容或者消费内容的模型，事实上，它们是关于构建和运营软件系统的模型。“生产”与“产品”便是上述三者之于Web?2的不同。经过几年的酝酿，敏捷和运维这两个领域终于各自受到了足够的重视，并顺理成章地有了交集。从2009年起，一阵被称为”DevOps”的风潮从欧洲发端，迅速席卷了北美和澳洲──现在以Flickr、Twitter为代表的一干互联网公司竞相以快速发布、频繁发布为荣：这厢Flickr做个PPT叫”每天10次部署”，那边Twitter就在演讲里有意无意地说”每天部署几十次”。一说起做互联网，你要是还在走俩月一个版本的发布周期呀，你都不好意思跟人打招呼──等你做出新版本，用户都跑竞争对手那儿去啦。顾名思义，”DevOps”就是开发和运维要搞到一块去──每天部署十几次，这两组人是得搞到一块去，不然光是填流程单的时间都不够。凡是参与过流程改进的人都知道，”搞到一块去”这事永远都是说起来容易做