[大数据存储与处理第三讲.ppt

* Hadoop 中的 MapReduce Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. * MapReduce 作业执行流程 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 默认为先进先出作业队列调度 支持公平调度 支持容量调度 * 作业调度机制 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 推测执行：既如果jobtracker发现拖后腿的任务，会再启动相同的备份任务，然后那个先执行完成就会去kill掉另外一个。因此在监控网页上经常能看到正常执行完成的作业有被kill的任务。 推测执行默认打开，但是如果是代码的问题，并不能解决问题，而且会使集群更慢，通过mapred-side.xml配置文件中设置mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution可为map任务或reduce任务开启或者关闭推测执行。 重用jvm，可以省去启动新的jvm消耗时间， mapred-side.xml文件中设置mapred.job.reuse.jvm.num.tasks单个jvm最大执行的任务数（1，1或-1表示没有限制） 忽略模式：任务在读取任务数据失败2次之后，会把数据位置报告给jobtracker，然后重新启动该任务并在遇到所记录的坏数据位置时直接跳过（默认关闭，同SkipBadRecord方法打开） * 任务执行优化 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 硬件故障是指jobtracker故障或tasktracker故障 Jobtracker是单点，若发生故障目前hadoop还无法处理，唯有选择最牢靠的硬件作为jobtracker Jobtracker通过心跳信号（周期1分钟）了解tasktracker是否发生故障或者负载过于严重 Jobtracker将从任务节点列表中移除发生故障的tasktracker。 如果故障节点在执行map任务并且尚未完成，jobtracker会要求其他节点重新执行此map任务 如果故障节点在执行reduce任务并且尚未完成，jobtracker会要求其他节点重新执行尚未完成的reduce任务。 * 错误处理机制——硬件故障 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 由于代码bug或进程崩溃引起任务失败 Jvm自动退出，向tasktracker父进程发生错误信息，错误信息也会写入日志 Tasktracker监听程序会发现进程退出，或者进程很久没有更新信息送回，将任务标记为失败 标记任务失败后，任务计数器减1以便接受新的任务，并通过心跳信号通知jobtracker任务失败的信息 Jobtracker获悉任务失败后，将把该任务重新放入调度队列，重新分配出去执行 如果一个任务失败超过4次（可配置），将不会再执行，同时宣告任务作业失败。 * 错误处理机制——任务失败 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. * 大纲 原理 Hadoop 基本架构 HDFS 文件系统 MapReduce 分布式计算框架 实践 安装与配置 编写MapReduce程序 介绍 背景 Hadoop起源 成功的案例 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. Hadoop安装配置 编写MapReduce程序 * 实践 Eva