大规模云存储调研.ppt

Haystack Storage典型配置 双路四核超线程CPU 48GB 内存 RAID-6控制器，配置256-512M NVRAM 超过12个1TB SATA 硬盘 淘宝网 后端系统存储286亿多个图片 1PB 平均图片大小17.45KB 小于8KB的图片占总数量的61%，总容量的11% 图片访问流量占淘宝网整体流量的90%以上 淘宝网整体系统的拓扑结构 TFS (Taobao File System) 面向互联网服务的分布式文件系统 高可扩展、高可用、高性能 主要针对海量的非结构化数据 为外部提供高可靠和高并发的存储访问 满足了淘宝对小文件存储的需求 TFS技术特点 完全扁平化的数据组织结构，抛弃了传统文件系统的目录结构 在块设备基础上建立自有的文件系统，减少EXT3等文件系统数据碎片带来的性能损耗 单进程管理单块磁盘的方式，摒除RAID5机制 带有HA机制的中央控制节点，在安全稳定和性能复杂度之间取得平衡 尽量缩减元数据大小，将元数据全部加载入内存，提升访问速度 跨机架和IDC的负载均衡和冗余安全策略 完全平滑扩容 TFS总体结构 NameServer TFS的元数据管理中心，主要负责管理自己所在集群的信息，维护DataServer的相关信息，实现DataServer的负载均衡 负责对DataServer 的检查，通过DataServer发送的心跳消息，监控DataServer的加入或者退出，管理所在集群的DataServer信息列表 维护每个DataServer的状态信息，包括总容量，已用容量，当前负载，block数量等，发起对block的新建或删除等操作 维护DataServer上的Block元数据信息，包括Block是否可用，文件数等，读文件的时候负责定位DataServer的位置，写文件的时候负责分配某DataServer的可写block 管理所有block在DataServer中的分布，block的副本复制，以及均衡 DataServer TFS的最终存储设备，最主要的功能就是维护自己拥有的block列表，及block中的文件列表，提供数据的读写。负责具体文件的创建，读写删改 维护和nameserver之间的消息通信，向nameserver发送心跳信息，报告自己的BLOCK列表及状态(如机器Load, 硬盘使用情况) 提供dataserver上BLOCK的创建和删除，并更新nameserver上的block信息 提供block上文件的创建、删除、读写、重命名等 提供DataServer本身的信息查询，例如block及file的信息查询 实现和镜像的数据同步，提供block复制和压缩功能 存储机制 TFS读操作流程 TFS写操作数据流 参考配置 开源站点给出的测试机配置 8核Intel Xeon CPU E5520 @ 2.27GHz 8GB物理内存 当前TFS主要的机型使用SAS 300G×12的磁盘配置 未来将使用1TSATA×12甚至更大的磁盘设备，进一步降低成本 节能型低功耗服务器 淘宝网目前正在和一些服务器厂商合作，由淘宝网定义一些产品规格，厂商为淘宝网定制一批专用的低功耗节能型服务器 低功耗硬件平台方面的改进措施包括 要求厂商应用低功耗的CPU，如Intel ATOM, VIA Nano等 采用低功耗的Chipset、SSD或低功耗的SATA硬盘，并关闭GPU和USB Controller等等 测试阶段，还并未在生产系统中大规模部署 淘宝网节点网络结构的单机柜方案 单机柜方案的机架部署示意图 优酷网视频存储架构 日视频播放量（VV）已经达到1.5亿 每日独立访问用户数量（UV）超过2500万 优酷网占据的浏览时长市场份额已超过50% 采用基于Flash的视频点播技术，需要大量存储和流媒体服务器 服务器和存储设备分布在全国20多个CDN中 网站视频媒体系统拓扑图 优酷网采用的服务器 服务器直连式存储（DAS）架构 服务器主要来自戴尔，还有一部分来自惠普 Dell PowerEdge 1950与PowerEdge 860为主 存储阵列以戴尔MD1000为主 PowerEdge 1950作为Web服务器和流媒体服务器，分别服务于页面系统与视频系统 MD1000, PowerEdge 860以DAS的方式相连，作为一个存储单元 服务器配置 PE1950采用英特尔至强5310处理器，4G内存，两块300G SAS硬盘 PE860采用英特尔至强3060处理器，4G内存，一块80G SATA硬盘 MD1000存储阵列装载有15块750G SATA硬盘 土豆网视频存储系统 2009年扩充了75台宝德PR2012S服务器 处理器XEON E5420 2.50G 1333