- 1、本文档共33页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
FastDFS原理介绍整理ppt
FastDFS原理概述和介绍
FastDFS沙龙
一切从问题的根本出发
作者:袁晨阳(ShaneYuan)
日期:2010.12.14
摘要
分布式文件系统的使命
FastDFS如何应对
FastDFS基础应用
探索后的感知
邻家是否“有菜可偷”
分布式文件系统的使命
冗余备份;
负载均衡;
线性扩容等机制;
大量请求中高可用、高性能;
容灾和可拓展性。
FastDFS如何应对
FastDFS的基本架构特征
轻量级;
分组方式;
对等结构。
轻量级
服务端只有两角色:跟踪服务器(tracker)和存储服务器(storage)
response
request
分组方式
Tracker servers
对等结构
FastDFS基础应用
基础操作,数据流程
网络拓扑,实际应用
容灾,优化,版本升级
文件上传操作
文件下载操作
文件索引解析
文件的存储方式和返回
文件名解析
文件名包含:源头storage IP地址和文件创建时间戳、文件大小、随机数、文件拓展名。
网络拓扑--实施部署案例
以HTTP方式下载文件
FastDFS分组存储方式,为HTTP方式下载提供了便利
FastDFS支持HTTP方式下载文件,可以使用内置web server或者外部web server
需要解决文件同步延迟的问题
可以采取如下两种方式:
tracker跳转方式:通过Tracker server跳转
非tracker跳转方式:Storage server直接提供文件下载
HTTP下载方式一(tracker跳转)
HTTP下载方式一流程解读
通过Tracker server解决文件同步延迟的问题
Tracker server上需使用内置web server
Storage server可以使用内置web server,也可以使用外部web server。推荐使用外部web server,如apache或nginx
HTTP下方式二(非tracker跳转)
可以分为两种方式:
跳转方式(redirect)
代理方式(proxy)
HTTP下载方式二(redirect)
HTTP下载方式二(proxy)
HTTP下载方式二流程解读
使用扩展模块来解决文件同步延迟问题
如果请求文件在当前storage上不存在,通过文件ID反解出源storage,直接请求源storage
tracker server上不需要任何web server
在每台storage server上部署web server,直接对外提供HTTP服务
目前已提供apache和nginx扩展模块
推荐使用扩展模块方式
版本升级
是否有可行性升级方案、升级风险的验证升级验证结果
可以直接通过服务端程序替换进行版本升级,经测试验证升级后基础数据无影响。
版本的优化和方向
FastDFS + 目录服务 + client mount
探索后的感知
优缺点(特性)
适用业务场景
改造方向
这样的结构带来的优缺点(1)
不记录文件索引信息
对等结构,组内所有storage 存储一致
采用异步方式将源数据服务器主动push到其他数据库服务器
文件不进行分片处理
这样的结构带来的优缺点(2)
客户端访问时需通过tracker指定storage
优缺点
支持同一文件只保存一份,节约磁盘空间
下载文件支持HTTP协议,可以使用内置Web Server,也可以和其他Web Server配合使用
支持在线扩容,支持主从文件
storage上可以保存文件属性(meta-data)
文件不分块存储,上传的文件和OS文件系统中的文件一一对应(实现了软件RAID )
我不是超人
自带的http server端支持不足,storage 扩展建议使用nginx;
没有支持python的接口;
在服务器配置不统一时不能很好的调节磁盘空间负载压力(非动态);
需要客户端自行记录存储信息,增加了客户端的信息管理量。
适用的业务场景
存储后不做改动;
视频或其他文件的断点存取;
存储文件的关系度不复杂(如果跟统计项目类似存储文件间关系复杂则不适用);
存储总量预计在500Tb范围内的应用。
邻家是否“有菜可偷”
mogileFS特点
mooseFS特点
Hadoop特点
FastDFS改造方向
MogileFS特点
有三个角色:tracker、storage和存储文件信息的mysql db;
使用mysql来存储文件索引等信息,文件同步通过tracker调度和中转;
动态冗余,灵活性一般;
不支持文件附加属性(meta data);
不支持文件偏移下载。
MooseFS特点
MooseFS文件系统结构包括以下四种角色:管理服务器 (master),元数据日志服务器(Metalogger),数据存储服务器 (chunkservers),
您可能关注的文档
最近下载
- 委托指导股票买卖协议书范本5篇.docx
- 2024年营养指导员技能竞赛理论知识考试题库500题(含答案).docx
- 酒店消防安全管理制度11.doc VIP
- 程家惠《洋话汉音》(升级版).doc
- 青岛版科学五年级上册第一单元《光》大单元教学设计.docx
- 第4课《古代诗歌四首——天净沙.秋思》说课课件 2024—2025学年统编版语文七年级上册.pptx VIP
- 保健刮痧师保健刮痧师(高级)考点巩固.pdf VIP
- 04大医传承二(1-32讲).doc
- Unit4NaturalDisasters词汇讲解课件高中英语人教版.pptx
- 保健刮痧师《保健刮痧师》高级题库考点(模拟卷).doc VIP
文档评论(0)