QCon 北京 - 对象云存储.docxVIP

  1. 1、本文档共21页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

UPYUN对象云存储

@oneoo/2014

我们需要什么?

1、海量存储(PUT/GET/DELETE操作)

2、安全、稳定(3备份)

3、高性能

4、跨机房互备、时刻在线、区域故障不影响服务

云存储

云存储的主要类型

对象云存储

支持PUT/GET/DELETE操作主要提供静态文件存储服

务,如图片、音频和视频等非

结构化数据

文件云存储

支持随机读写、追加、读写

锁、快照等功能

------------------------------------

块设备云存储

主要提供虚拟磁盘服务,可挂载到本地。可完全模拟成普通磁盘

分布式协议

DynamoN=3,W=2,R=1

非强一致性模式,多点写入后最终结果不确定

Paxos

可容错的一致性协议,保证最终结果一致且是必威体育精装版的数据

分布式算法

一致性哈希算法 Meta路由表

一致性哈希算法的优点

完全去中心化

算法简单,容易把控

各磁盘负载均匀

没用数据陈旧问题

读取性能高

缺点

增加/删除节点所需周期和数据迁移

集群有一定容量限制

Meta路由表的优点

负载均衡且可加权控制

增加/删除节点无需移动额外数据

缺点

所有请求需经过MetaServer定位

中心化,需解决MetaServer单点问题

数据陈旧问题,导致老服务器的请求服务偏少

读取性能相对于哈希算法定位低

如何选择?

A

or B

UPYUN对象云存储架构

多机房

2个数据中心(本年计划扩展到6个机房)

多机柜

每数据中心超过5个机柜

多服务器

每机柜12台存储服务器

多磁盘

每服务器挂载12块2TB磁盘

容量达到3PB,未来一年将达到10PB

多数据中心方案(混合架构)

跨数据中心使用轻量级Meta路由表

根据目录进行路由定位

同一目录下的文件操作只落在固定的数据中心最大化压缩Meta路由表的记录数量

客户可使用多个数据中心的存储服务以避免跨数据中心之间转移大量文件

数据中心内部使用一致性哈希算法

避免冷热数据问题,以获取最大读写性能

跨地区同步

问题:

延时

跨地区网间延时50ms,选择异步方案

数据量

固定设置备份点和数量,避免传输额外数据

占用带宽

白天8~24点20%带宽限制,凌晨1~7点80%

多服务器、多Worker进程进行同步

就近上传服务

根据客户所在地区,调选就近的数据中心临时存储后续再进行异步的多数据中心同步操作

大文件存储

按1Mb/Block进行分开存储

HTTPRange请求支持

运营经验

小文件IO性能优化、CDN加速

系统监控

QA

@oneoo

Thanks;)

文档评论(0)

文库垃圾佬 + 关注
实名认证
文档贡献者

这个人很懒

1亿VIP精品文档

相关文档