[生物学]11 海量信息存储.ppt

通信与信息工程学院 第11章 海量信息存储 11.1 物联网对海量信息存储的需求 11.1 物联网对海量信息存储的需求 11.2 网络存储体系结构 11.2 网络存储体系结构 11.2 网络存储体系结构 11.2 网络存储体系结构 11.3 数据中心 维基百科 数据中心是一整套复杂的设施。不仅包括计算机系统和与之 配套的设备（如通信和存储系统），还包含冗余的数据通信 连接、环境控制设备、监控设备以及各种安全装置 Google 多功能网络建筑物，容纳多个服务器及通信设备。这些设备 被放置在一起是因为它们具有相同的环境要求及物理安全需 求，并且这样放置便于维护 11.3 数据中心 11.3.1 数据中心的起源及发展 11.3 数据中心 11.3.2 数据中心的相关标准 数据中心建设的难题 如何规划一个新的数据中心？ 怎样对数据中心进行升级？ 数据中心的标准对相关经验进行了总结 ANSI/TIA/EIA-942（简称TIA-942）：数据中心标准 由电信产业协会（TIA）提出，并经美国国家标准学会 （ANSI）批准 11.3 数据中心 1、选址与布局 需要考虑的因素 建设和运营成本 应用需求 政策优惠 ……… 布局 按功能区域划分 11.3 数据中心 （1）入口室：放置互联网接入点设备的场所 （2）主分布区：核心区域，各个LAN与SAN结构的核心路由 器及交换机所放置的区域，同时放置光纤、电缆等 （3）水平分布区：主分布区的下层，水平缆线集中点 （4）设备分布区：放置服务器和其它设备的机架与机柜 （5）区段分布区：水平分布区与设备分布区间的连接点，可 放置独立设备 （6）主干缆线和水平缆线：各个区域间的连接 11.3 数据中心 TIA-942规定了缆线系统、能源系统、降温系统、可靠性分级 （四个等级，P228~229，表11.1） 11.4 典型的数据中心* 11.4.1 Google数据中心 每月将近3.8亿用户、30亿次查询 每天处理20 PB数据、存有数十亿网页地址与个人资料 Google站点可靠性超过99.99% 全球共建有近40个大规模数据中心 单个数据中心需要至少50兆瓦功率，约等于一个小型城市所有家庭的用电量 独特的硬件设备：定制的以太网交换机、能源系统等 11.4 典型的数据中心* 选址考虑 大量而廉价的电能 有利于获得风能、水利等低碳电能 靠近大型水源，为降温设备使用 较大面积空地，提供缓冲带，增加必威体育官网网址性 与其它数据中心的距离，保证数据高速互连 税收优惠 自行研发的软件技术：Google File System、MapReduce、BigTable等 11.4 典型的数据中心* 11.4.2 Google File System（GFS） Google处理超大规模数据密集型应用的分布文件系统 GFS的设计观念 组件失效不再被认为是意外，而是被看做正常的现象 GFS的文件非常巨大 对文件的操作具有特定的模式 文件系统应用程序编程接口（API：Application Programming Interface）和应用程序的协同设计提高了整个系统的灵活性 11.4 典型的数据中心* 11.4 典型的数据中心* 主服务器维护所有文件系统的元数据，包括名字空间、访 问控制信息、文件到块的映射信息以及块当前的位置。此 外，主服务器还控制其它的系统级活动。主服务器周期性 与块服务器通信，以下达指令和收集状态 GFS客户端代码嵌入到每个应用中，实现文件系统API、主服务器与块服务器的通信，从而代表应用实现读写操作 客户端与服务器交互，从而实现元数据操作，但所有数据操作都通过直接与块服务器交互而完成 11.4 典型的数据中心* 11.4.3 MapReduce MapReduce：一种针对超大规模数据集的编程模型和系统 用MapReduce开发的程序可在计算机集群上并行执行、处理 计算机失效、调度计算机间的通信 MapReduce的基本思想 用户编写两个程序：Map和Reduce 一个在计算机集群上执行多个程序实例的框架 11.4 典型的数据中心* MapReduce的执行流程（共7步，P235~236） 11.4 典型的数据中心* 11.4.4 BigTable BigTable：在海量数据规模下（包含PB量级数据和数千台计 算机）管理结构化数据的分布式存储的系统 应用 Google地球 网页索引 RSS阅读器 11.4 典型的数据中心* 每个BigTable都是一个稀疏的、分布式的多维有序图，按行 键值、列键