14-3数据中心的研究热点4研究热点.ppt

14-2.典型数据中心 4. BigTable BigTable是一种用来在海量数据规模下（例如包含以PB为单位的数据量和数千台廉价计算机的应用）管理结构化数据的分布式存储系统。 应用 Google地球 网页索引 RSS阅读器 * 物联网工程导论 14-2.典型数据中心 每个BigTable都是一个稀疏的、分布式的多维有序图，按行键值、列键值和时间戳建立索引 * 物联网工程导论 14-2.典型数据中心 5. Hadoop 1)什么是Hadoop？ Apache开源组织的一个分布式计算开源框架 用于在大型集群的廉价服务器设备上运行数据密集型分布式应用程序 在早期实际上是Google文件系统与MapReduce分布式计算框架及相关IT基础服务的开源实现 Hadoop包括多个子项目 HDFS、 MapReduce、 HBase 、Chukwa、Pig、ZooKeeper等 * 物联网工程导论 14-2.典型数据中心 2) HDFS (Hadoop Distributed File System) * 物联网工程导论 14-3.数据中心的研究热点 2006年Google在数据中心项目上的花费为19亿美元，而2007年该项支出增加到24亿美元。 Google在俄勒冈州的数据中心有近100兆瓦的功率，满负荷运行时消耗的电力基本上和纽卡斯尔（Newcastle）一个城市所有家庭的用电量加起来一样多。 * 物联网工程导论 14-3.数据中心的研究热点 1.数据中心的成本构成 基础设施部分包括能源系统、降温系统、各种防火设备、安保设备等。降低这一部分成本往往涉及到机械设备制造技术或政策优惠等因素，与计算机学科的关联程度相对较低。 我们分别从服务器，网络设备，能源三个方面对造成高成本的原因和目前的解决方法进行简要介绍。 * 物联网工程导论 14-3.数据中心的研究热点 2.研究热点：服务器成本 服务器的实际利用效率较低 分配到各服务器的应用不能完全利用某些组件 对应用需求的预测比较难，无法做到按需分配 为了提高系统的可靠性，一般都留有冗余设备 提高服务器利用率的关键在于及时应对需求的动态变化 * 物联网工程导论 14-3.数据中心的研究热点 3.研究热点：网络设备成本 主要来源 交换机、路由器、负载均衡设备 传统的数据中心使用树形结构，核心交换机和路由器构成流量瓶颈，且造价昂贵 研究热点：新的数据中心网络结构 以交换机为中心的多层树形结构：例如Fat-Tree 以服务器为中心的互联结构：例如DCell * 物联网工程导论 14-3.数据中心的研究热点 4.研究热点：能源成本 研究热点 降低服务器工作能耗 降低同等性能设备能耗 提高同等能耗设备性能 可调整负载的服务器 减少降温系统能耗 精细、精准的温度控制 集装箱式模块化数据中心 * 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 物联网工程导论 * 14 海量信息存储 主要内容 网络存储体系结构 数据中心 典型的数据中心 数据中心的研究热点 物联网工程导论 * 14-0.网络存储体系结构 1.物联网对海量信息存储的要求 1）数据存储的发展历史 物联网工程导论 * 甲骨文→纸质书籍→数字化存储 14-0.网络存储体系结构 2）物联网对海量信息存储的需求 全球信息总量迅猛增长 2007年产生的数据量为281EB （ 1EB=10亿GB ） 物联网中对象的数量将庞大到以百亿为单位 物联网中的对象积极参与业务流程的需求 高强度计算需求 数据的持续在线可获取特性 导致了网络化存储和大型数据中心的诞生 物联网工程导论 * 物联网工程导论 14-0.网络存储体系结构 2.网络存储体系结构 1）直接附加存储 直接附加存储(Direct-Attached Storage, DAS) 将存储系统通过缆线直接与服务器或工作站相连 一般包括多个硬盘驱动器，与主机总线适配器通过电缆或光纤 在存储设备和主机总线适配器之间不存在其他网络设备 实现了计算机内存储到存储子系统的跨越 * 物联网工程导论 14-0.网络存储体系结构 2）网络附加存储 网络附加存储(Network Attached Storage, NAS) 文件级的计算机数据存储架构 计算机连接到一个仅为其它设备提供基于文件级数据存储服务的