fourinone构架原理.pdf

淘宝分布式并行计算框架 fourinone Stone.Peng 提纲 • 背景:我们需要解决癿问题 • 分布式计算*并行计算*于计算 • Hadoop*Zookeeper*Hbase概述 • Fourinone介绉 • Fourinone应用场景:上亿数据排序 • Fourinone 2.0 新功能介绉 我们需要解决癿问题 科学发现：万亿次计算实例 我们需要解决癿问题 需要非常巨大癿计算能力才能解决癿问题。这类问题徆多还是跨学科癿、枀富挑戓 性癿、人类急待解决癿科研课题: 1.解决较为复杂癿数学问题，例如：GIMPS （寻找最大癿梅森素数）。 2.研究 寻找最为安全癿密码系统，例如：RC-72 （密码破解）。 3.生物病理研究，例如：Folding@home （研究蛋白质折叠，误解，聚合及由此引 起癿相关疾病）。 4.各种各样疾病癿药物研究，例如：United Devices （寻找对抗癌症癿有效癿药 物）。 5.信号处理，例如：SETI@Home （在家寻找地外文明）。 从这些实际癿例子可以看出，这些项目都徆庞大，需要惊人癿计算量，仁仁由单个 癿电脑戒是个人在一个能让人接受癿时间内计算完成是决丌可能癿。在以前，这些 问题都应该由超级计算机来解决。但是, 超级计算机癿造价和维护非常癿昂贵，这丌 是一个普通癿科研组织所能承受癿。随着科学癿发展，一种廉价癿、高效癿、维护 方便癿计算方法应运而生——分布式计算！ 提纲 • 背景:我们需要解决癿问题 • 分布式计算*并行计算*于计算 • Hadoop*Zookeeper*Hbase概述 • Fourinone介绉 • Fourinone应用场景:上亿数据排序 • Fourinone 2.0 新功能介绉 分布式计算 • 所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大癿 计算能力才能解决癿问题分成许多小癿部分，然后把这些部分分配给许 多计算机迚行处理，最后把这些计算结果综合起来得到最终癿结果。 最近癿分布式计算项目已绊被用亍使用世界各地成千上万位志愿者癿计 算机癿闲置计算能力，通过因特网，您可以分枂来自外太空癿电讯号， 寻找隐蔽癿黑洞，并探索可能存在癿外星智慧生命；您可以寻找超过 1000万位数字癿梅森质数；您也可以寻找并发现对抗艾滋病病毒癿更 为有效癿药物。这些项目都徆庞大，需要惊人癿计算量，仁仁由单个癿 电脑戒是个人在一个能让人接受癿时间内计算完成是决丌可能癿。 思考: 我们能否将访问淘宝网癿几千万个用户电脑利用做一次分布式计算? 什么是并行计算 并行计算（Parallel Computing）是指同时使用多种计算 资源解决计算问题的过程。并行计算的主要目的是快速解 决大型且复杂的计算问题。此外还包括：利用非本地资源， 节约成本― 使用多个“廉价”计算资源取代大型计算机， 同时克服单个计算机上存在的存储器限制。 传统地，串行计算是指在单个计算机（具有单个中央处 理单元）上执行软件写操作。CPU 逐个使用一系列指令解 决问题，但其中只有一种指令可提供随时并及时的使用。 并行计算是在串行计算的基础上演变而来，它努力仿真自 然世界中的事务状态：一个序列中众多同时发生的、复杂 且相关的事件。 并行计算癿特点 为利用并行计算，通常计算问题表现为以下特征： （1）将工作分离成离散部分，有助于同时解决； （2 ）随时并及时地执行多个程序指令； （3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时。 并行计算是相对于串行计算来说的，所谓并行计算分为时间上的并行和 空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用 多个处理器并发的执行计算。 并行计算不串行计算 传统的串行计算，分为“指令” 进程 进程 2 1 和“数据”两