七牛云存储详解教案.ppt

七牛云存储详解 @许式伟 2013年5月1日 第22期： 《云存储平台的实战经验分享 -- 七牛云存储技术专场》 www.LAMPER.cn /lampercn 大纲 需求 七牛云存储的功能特性 存储、加速、数据处理 功能与实现原理 存储与加速 数据处理 总结 七牛云存储 为移动时代开发者打造的数据平台 存储 海量、可靠、便宜 加速 上传、下载速度快 可分块并行上传 可断点续上传、下载 数据处理 图片缩略图/裁剪/水印/... 音视频转码 流媒体 可快速定制新的数据处理模块 框架示意图 开发者的工作 自动选择最近节点上传下载 客户的业务服务器可以变得非常轻量。 智能DNS和路由优化，帮助你屏蔽国内网络环境的复杂性 数据处理增值服务 多副本、分布式、多IDC互备的安全存储 视频转码 图片处理 加速节点 加速节点 加速节点 加速节点 移动应用 业务服务器 客户端SDK 服务器端SDK 1 2 3 存储 目标 海量、可靠、便宜 如何用便宜的机器、很低的冗余度，组装出可靠的系统 集群可靠性 存储集群的可靠性取决于 硬盘寿命 比较难调整，且与成本挂钩 容错度 集群可以容忍同时损坏多少块硬盘 通常与冗余度有关，与成本比较相关 单位修复时间 指单块硬盘损坏的修复时间 实现上可产生巨大差异 存储集群可靠性的关键指标 修复时间 参考值：单盘对拷时间 局域网带宽 磁盘带宽 磁盘大小 修复时间 = 磁盘大小/min(局域网带宽, 磁盘带宽) 如何突破单盘带宽瓶颈？ 让更多磁盘参与其中：将丢失的数据，均匀地分配到集群其他磁盘上 注意：为了高可用，同一文件的数据不应该同时出现在一台机器的不同硬盘上 理论上限 修复时间 = 磁盘大小/min(局域网带宽, 磁盘带宽)/(N-1) N = 集群的磁盘数目 容错度/冗余度 三副本 冗余度：3 容错度：允许3块硬盘同时损坏2块 可靠性：在单位修复时间内，同时损坏3块盘，则发生数据丢失 跨机器做RAID6 冗余度：(N+2)/N 容错度：允许N+2块硬盘同时损坏2块 (N越大风险越大) 可靠性：在单位修复时间内，同时损坏3块盘，则发生数据丢失 典型配置：N=4，冗余度=1.5 跨机器做EC 冗余度：(N+M)/N 容错度：允许N+M块硬盘同时损坏M块 (M越大风险越低) 可靠性：在单位修复时间内，同时损坏M+1块盘，则发生数据丢失 跨 IDC 的数据冗余 目标 高可靠 单IDC出现自然灾害（比如地震）时不丢失数据 高可用 单IDC网络出现故障时，整个集群仍然正常工作 加速 下载加速 利用成熟的CDN网络 多CDN智能管理 上传加速 跨IDC的分布式存储结构 下载加速 考量 CDN这样的下载加速网络已经发展了10年多，非常成熟 七牛不希望在这一块上重复投入 七牛希望成为业界最专业的多CDN管理者 如果某个区域某家 CDN 比较快，将流量分配给它 在一个 CDN 出问题的时候，迅速将流量切到另一家 CDN ... 下载速度对比 与国内某知名云的对比 上传加速 上传加速是个新课题，随着UGC内容增加而兴起 上传加速需要结合存储一起考虑 区别于下载加速，你不能认为上传节点是加速节点，它需要是存储节点，Why？ 上传加速节点有数据可靠性的要求，不能丢数据 上传加速节点的数据，需要被立刻访问 不能有一个中间状态，你告知用户上传成功了，但是用户通过其他 IDC 下载不到这个数据 存储与加速一体化 目标 跨 IDC 的分布式存储 传统分布式存储通常是单IDC集中式的 用户可选择任意的 IDC 就近上传 可大大提升上传速度 可分块并行上传 对传视频等大文件特别有效 可断点续上传 对2G/3G等移动网络特别有效 上传速度对比 与国内某知名云的对比 数据处理 目标 快速、高伸缩性 功能易扩展 需要非常容易添加新的数据处理模块 可预转 上传即转换，加快用户第一次访问时的速度 有点抽象？来点真的 微软的网站 /global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800x470_EN-US.jpg 七牛镜像 /global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800x470_EN-US.jpg 可以做更多 缩略图 /global/ImageStore/PublishingImages/Asset/Features/WindowsUpgrade_0702_800x470_EN-US.jpg?imageView/1/w/128 /global/ImageStore/PublishingImages/Asset/Features/WindowsUpgra