各公司使用的Ceph存储集群概要.docx

Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人对它的抱怨也一直存在。本文试着整理作者了解到的一些使用案例。1. 携程（Ctrip）携程所使用的各种存储的现状：商业存储： SAN(HP/ HPS) , 1+ PB, 数据库 NAS (HW) , 800+ TB, 文件共享 开源存储 GlusterFS, 1+ PB, 数据库备份 FastDFS, ? 1+ PB, 海量照片 HDFS, ? ? ?10+ PB, 大数据 而在不久的将来，随着公司业务的发展，携程需要的存储容量需要扩大到10倍以上。携程选择Ceph的理由：低成本 + SDS + Scale-out + 统一存储 + 企业特性?携程目前的Ceph集群的配置：CephVersion: 0.94.2，H release Object Storage: RGW + Swift API SDK: Python/ Java/ C#/ Ruby OS: Centos 6.4 硬件：CPU(2 channels 32 Core)、Mem128GB、disk（12*3TB/SATA disk +2*256GB raid1 SSD）、NIC(4*Gigabit LAN, bond 2 in 1 pair) RGW 使用架构：携程有在数据中心之间的同步数据的需求。在研究了 CRUSHmap、Radosgw-agent、Federate gateway （不稳定、不灵活（只支持Zone 之间同步）、不易扩展）后，其自研了COS方案，它具有稳定、灵活、扩展性等特点：?下一步的计划：Database on Ceph (Dev QA Farm) Openstack/ DockerIntegrate with Ceph IT “Dropbox” 资料来源：携程在 2015/10/18 SH Ceph Day 上的分享。楼主点评：与互联网公司的通常做法一致：慎重选择、细致测试、分布使用（往往从开发测试环境中使用开始）、开源的不够用就自研 希望携程能有更多的分享和回馈社区 2. 联通研究院中国联通研究院在使用Ceph对象和文件存储：?该集群还比较小，更多的是处于做大规模使用前的准备阶段。其测试环境：?测试结果：他们认为SSD对性能提升的效果一般：资料来源：联通研究院在 2015/10/18 SH Ceph Day 上的分享。楼主点评：尚处于小规模测试和试用阶段 使用的测试方法或者调优手段可能没到位，不然性能提高不会那么少 3. 宝德云（PLCloud）宝德云使用Ceph的理由：Pure Software Open Source, Commercial Support Unified Storage: RBD, RGW, CephFS Scale Out Self Healing Replication and Erasure Coding Integrate well with OpenStack 宝德云的用法：OpenStack + Ceph （RDB，CephFS）+ Docker所有 OpenStack 存储都放在 Ceph 上 18*(5 OSD+1SSD) / CephRBD / CephFS 785VM / 4vCPU32GB per VM Ubuntu14.04 / Docker1.6.1 / 150+ Containers per VM All VM Mount CephFS Mount VM Directory as Container’s Data Volume Boot 1 VM 5s Boot 1 Container 1s Boot 150+Containers 120s Ceph Rados Gateway driver for Docker Registry??Map RBD device inside DockerContainer CephFS as Data Volume??CephFS as NAS Storage Run Ceph in Containers使用案例：宝德云上的爱慕流媒体服务Run media web/app/dbvmover OpenStackand CephRBD Use CephRGW as media resource storage Put video TransportStream/jpg file via c-language programme Manage resource via python