分布式存储和计算系统.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 读文件流程 HDFS关键运行机制 客户端联系NameNode,得到所有数据块信息，以及数据块对应的所有数据服务器的位置信息。 尝试从某个数据块对应的一组数据服务器中选出一个，进行连接（选取算法未加入相对位置的考虑）。 数据被一个包一个包发送回客户端，等到整个数据块的数据都被读取完了，就会断开此链接，尝试连接下一个数据块对应的数据服务器，整个流程，依次如此反复，直到所有想读的都读取完了为止。 技术架构 Hadoop VS.Google 数据结构化管理组件：Hbase→BigTable。 并行计算模型：MapReduce→MapReduce。 分布式文件系统：HDFS→GFS。 Hadoop缺少分布式锁服务Chubby。 HBase MapReduce HDFS BigTable MapReduce GFS Hadoop云计算应用 Chubby Google云计算应用 HDFS与GFS比较 Hadoop VS.Google 中心服务器模式的差异。 GFS：多台物理服务器，选择一台对外服务，损坏时可选择另外一台提供服务。 HDFS：单一中心服务器模式，存在单点故障。 原因：Hadoop缺少分布式锁服务。 安全模式的差异。 HDFS具备安全模式。获知数据块副本状态，若副本不足，则拷贝副本至安全数目（如3个） GFS不具备安全模式。副本损坏处理：API读取副本失败时，Master负责发起拷贝任务。 HDFS具备空间回收机制。 文件删除时，仅删除目录结构 实际数据的删除在等待一段时间后实施 优点：便于恢复文件 HDFS与GFS比较 Hadoop VS.Google 子服务器管理模式差异。 GFS：Chunk Server在Chubby中获取独占锁表示其生存状态，Master通过轮询这些独占锁获知Chunk Server的生存状态。 HDFS：DataNode通过心跳的方式告知NameNode其生存状态。 GFS中，Master损坏时，替补服务器可以快速获知Chunk Server的状态。 HDFS中，NameNode损坏后，NameNode恢复时需要花费一段时间获知DataNode的状态。 在添加数据存储节点时，GFS的伸缩性较HDFS要好。 原因：Hadoop缺乏分布式锁服务。 返回 架构 数据复制、自动分片 MongoDB 简介 简介 MongoDB简介 分布式文档存储数据库MongoDB是一个可扩展、高性能的下一代数据库，由C++语言编写，旨在为web应用提供可扩展的高性能数据存储解决方案。 介于关系数据库和非关系数据库之间的产品。 支持的数据结构非常松散。类似json的bjson格式，可以存储比较复杂的数据类型。 支持的查询语言非常强大。语法类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，支持对数据建立索引。 功能特征 MongoDB简介 面向集合存储，易存储对象类型的数据。 模式自由。 支持动态查询。 支持完全索引，包含内部对象。 支持复制和故障恢复。 使用高效的二进制数据存储，包括大型对象（如视频等）。 自动处理碎片，以支持云计算层次的扩展性 。 支持RUBY，PYTHON，JAVA，C++，PHP等多种语言。 文件存储格式为BSON（一种JSON的扩展） 。 可通过网络访问。 适用场景 MongoDB简介 网站数据：Mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。 缓存：由于性能很高，Mongo也适合作为信息基础设施的缓存层。在系统重启之后，由Mongo搭建的持久化缓存层可以避免下层的数据源过载。 大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。 高伸缩性的场景：Mongo非常适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含对MapReduce引擎的内置支持。 用于对象及JSON数据的存储：Mongo的BSON数据格式非常适合文档化格式的存储及查询。 架构图 MongoDB架构 组件 MongoDB架构 一个或多个分片，每个分片持有部分数据（自动管理）。读写操作自动路由到合适的分片上。一个分片是一台或多台服务器，每台机器持有相同数据的拷贝。同一时间只有一个主节点，如果主节点死掉了，其中一台从节点自动接管为主节点。所有的写操作和一致性读操作都进入主节点，而所有的最终一致性读操作分布到所有从节点上。 多台配置服务器，其中每台配置服务器持有表明数据位于哪个分片的元数据的拷贝。