Ceph分布式对象存储系的统研究与优化.pdf

Ceph分布式对象存储系统 研究与优化研究与优化 汪黎汪黎 liwang@ 提纲 Ceph介绍 我们的工作 2 概述 Ceph是Sage Weil 在UCSC开发的大规模的、 可扩扩展的的、开源的分布式存储系统源的分布式存储系统 CephCeph clientclient includedincluded inin LinuxLinux kernelkernel sincesince 2.6.34 Supported by Openstack since Folsom Maintained by Inktank inc. 3 Cepph架构 RADOS Ceph的核心组件 提供 高高可靠靠、高高可扩展的分布布式对象存储架构 利用本地文件系统存储对象 CliClientt Cephfs RBD RadosgwRadosgw Librados 4 Cepph Clients Cephfs 提供提供POSIXPOSIX 兼容的分布式文件系统接兼容的分布式文件系统接口，支持支持 kernel、fuse RBDRBD 提供高可靠的，分布式的块接口 Radosgw 提供提供SS33、SwiftSwift 兼容的对象接口兼容的对象接口 Librados 提供rados库调用接口 5 Rados特色 高可靠性 多副本 自动隔离失效节点自动隔离失效节点 数据 自自动恢复恢复 高可扩展性 数据分布式存储 数据透明扩容数据透明扩容 CRUSHCRUSH副本副本分布算法分布算法 6 Cepphfs组成 OSD 存储文件数据和元数据 存储文件数据和元数据 Monitor 监视整个集群状态 监视整个集群状态 维护并通告集群拓扑 结构 结构 MDS 缓存和同步元数据 管理名字空间 Client 提供POSIX接口 7 Cepphfs特色 数据与元数据分离 数据由OSD服务 元数据由元数据由MDSMDS服务服务 但都存储在OSD上，作为不同的对象，MDS作 为元数据为元数据cachhe 支持文件分片存储支持文件分片存储 OSD、Monitor、MDS均支持集群运行， 支持动态增删节点支持动态增删节点，无单点失效无单点失效 动态子树划分动态子树划分 8 cappabilityy 为了维护数据一致性, 由mds给client颁 发发filfile cap, 决定决定clilientt允许进行的操作允许进行的操作 Fb:Fb: 允许允许clientclient进行带缓存的写操作进行带缓存的写操作 Fc: 允许允许client进行带缓存的读操作进行带缓存的读操作 对于同一个文件，当有大于1个的writer 或或1个个writer和和1个或多个个或多个reader时时， c