FastDFS原理介绍.pptx

  1. 1、本文档共33页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
FastDFS原理介绍整理ppt

FastDFS原理概述和介绍 FastDFS沙龙 一切从问题的根本出发 作者:袁晨阳(ShaneYuan) 日期:2010.12.14 摘要 分布式文件系统的使命 FastDFS如何应对 FastDFS基础应用 探索后的感知 邻家是否“有菜可偷” 分布式文件系统的使命 冗余备份; 负载均衡; 线性扩容等机制; 大量请求中高可用、高性能; 容灾和可拓展性。 FastDFS如何应对 FastDFS的基本架构特征 轻量级; 分组方式; 对等结构。 轻量级 服务端只有两角色:跟踪服务器(tracker)和存储服务器(storage) response request 分组方式 Tracker servers 对等结构 FastDFS基础应用 基础操作,数据流程 网络拓扑,实际应用 容灾,优化,版本升级 文件上传操作 文件下载操作 文件索引解析 文件的存储方式和返回 文件名解析 文件名包含:源头storage IP地址和文件创建时间戳、文件大小、随机数、文件拓展名。 网络拓扑--实施部署案例 以HTTP方式下载文件 FastDFS分组存储方式,为HTTP方式下载提供了便利 FastDFS支持HTTP方式下载文件,可以使用内置web server或者外部web server 需要解决文件同步延迟的问题 可以采取如下两种方式: tracker跳转方式:通过Tracker server跳转 非tracker跳转方式:Storage server直接提供文件下载 HTTP下载方式一(tracker跳转) HTTP下载方式一流程解读 通过Tracker server解决文件同步延迟的问题 Tracker server上需使用内置web server Storage server可以使用内置web server,也可以使用外部web server。推荐使用外部web server,如apache或nginx HTTP下方式二(非tracker跳转) 可以分为两种方式: 跳转方式(redirect) 代理方式(proxy) HTTP下载方式二(redirect) HTTP下载方式二(proxy) HTTP下载方式二流程解读 使用扩展模块来解决文件同步延迟问题 如果请求文件在当前storage上不存在,通过文件ID反解出源storage,直接请求源storage tracker server上不需要任何web server 在每台storage server上部署web server,直接对外提供HTTP服务 目前已提供apache和nginx扩展模块 推荐使用扩展模块方式 版本升级 是否有可行性升级方案、升级风险的验证升级验证结果 可以直接通过服务端程序替换进行版本升级,经测试验证升级后基础数据无影响。 版本的优化和方向 FastDFS + 目录服务 + client mount 探索后的感知 优缺点(特性) 适用业务场景 改造方向 这样的结构带来的优缺点(1) 不记录文件索引信息 对等结构,组内所有storage 存储一致 采用异步方式将源数据服务器主动push到其他数据库服务器 文件不进行分片处理 这样的结构带来的优缺点(2) 客户端访问时需通过tracker指定storage 优缺点 支持同一文件只保存一份,节约磁盘空间 下载文件支持HTTP协议,可以使用内置Web Server,也可以和其他Web Server配合使用 支持在线扩容,支持主从文件 storage上可以保存文件属性(meta-data) 文件不分块存储,上传的文件和OS文件系统中的文件一一对应(实现了软件RAID ) 我不是超人 自带的http server端支持不足,storage 扩展建议使用nginx; 没有支持python的接口; 在服务器配置不统一时不能很好的调节磁盘空间负载压力(非动态); 需要客户端自行记录存储信息,增加了客户端的信息管理量。 适用的业务场景 存储后不做改动; 视频或其他文件的断点存取; 存储文件的关系度不复杂(如果跟统计项目类似存储文件间关系复杂则不适用); 存储总量预计在500Tb范围内的应用。 邻家是否“有菜可偷” mogileFS特点 mooseFS特点 Hadoop特点 FastDFS改造方向 MogileFS特点 有三个角色:tracker、storage和存储文件信息的mysql db; 使用mysql来存储文件索引等信息,文件同步通过tracker调度和中转; 动态冗余,灵活性一般; 不支持文件附加属性(meta data); 不支持文件偏移下载。 MooseFS特点 MooseFS文件系统结构包括以下四种角色:管理服务器 (master),元数据日志服务器(Metalogger),数据存储服务器 (chunkservers),

文档评论(0)

zyzsaa + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档