MogileFS_系统_应用在EshangTu项目的可行性分析.doc

MogileFS 系统应用在EshangTu项目的可行性分析 [摘要] 1 [关键词] 1 [涉及的关键概念] 1 分布式文件系统 2 MogileFs 2 正文 3 选择MogileFs的理由 3 MogileFS 特性就介绍，官方介绍 3 MogileFS 的结构 4 MogileFS 的三个大的部分 5 MogileFS 的二个服务进程 6 MogileFS 的其它 7 MogileFS 中的存储节点 7 MogileFS 内部的管理关系 8 MogileFS 的安装与配置 详细参考文档 9 MogileFS 的客户端和API 9 MogileFs应用到eshangtu项目的设想 14 [摘要] 描述了MogileFS 系统涉及的计算机概念，该系统能解决的问题，运行结构，原理。并讨论了当应用在eshangtu项目上时，要解决的几个问题，和初步的解决方案。 [关键词] MogileFS 分布式文件系统 perl 存储节点(store node) 跟踪节点(tracker) 跟踪数据库 [涉及的关键概念] 分布式文件系统 分布式系统图示 分布式+文件系统。它包含这两个方面的内涵，从文件系统的客户使用的角度来看，它就是一个标准的文件系统，提供了一系列API，由此进行文件或目录的创建、移动、删除，以及对文件的读写等操作。从内部实现来看，分布式的系统则不再和普通文件系统一样负责管理本地磁盘，它的文件内容和目录结构都不是存储在本地磁盘上，而是通过网络传输到远端系统上。并且，同一个文件存储不只是在一台机器上，而是在一簇机器上分布式存储，协同提供服务，正所谓分布式。因此，考量一个分布式文件系统的实现，其实不妨可以从这两方面来分别剖析，而后合二为一。首先，看它如何去实现文件系统所需的基本增删改查的功能。然后，看它如何考虑分布式系统的特点，提供更好的容错性，负载平衡，等等之类的。这二者合二为一，就明白了一个分布式文件系统，整体的实现模式。MogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由 LiveJournal 旗下 Danga Interactive 公司开发，Danga 团队开发了包括 Memcached、MogileFS、Perlbal 等不错的开源项目：(注：Perlbal 是一个强大的 Perl 写的反向代理服务器)。目前国内使用 MogileFS 的有图片托管网站 yupoo 等。 　　MogileFS由3个部分组成： 　　第1个部分是server端，包括mogilefsd和mogstored两个程序。前者即是mogilefsd的tracker，它将一些全局信息保存在数据库里，例如站点domain,class,host等。后者即是存储节点(store node)，它其实是个HTTP Daemon，默认侦听在7500端口，接受客户端的文件备份请求。在安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控。 　　第2个部分是utils（工具集），主要是MogileFS的一些管理工具，例如mogadm等。 第3个部分是客户端API，用这个模块可以编写客户端程序，实现文件的备份管理功能。Eshangtu项目中需要存储大量的图片，并对用户提供存取服务，IO吞吐量较大。为了减轻Web服务器压力，考虑采用分布式文件系统，分流图片文件的读写操作。 图片是静态内容，有如下需求：需要集中存储，也就是对服务的需求者，只有一个统一的接口。图片需要的存储比较大要稳定，文件不能丢失根据上述要求我们可以采用如下模式可以使用众多的网络协议来使用File Server上的文件，可以是NFS或是CIFS，甚至可以是SAN（当然，这东东比较贵的说）。但是为了满足上面提出的3个要求，我更倾向于用分布式文件来取代File Server。MogileFS就是这样一种系统。MogileFS 特性就介绍，官方介绍 (1. 应用层 – 不需要特殊的核心组件(2. 无单点失败 — MogileFS分布式文件存储系统安装的三个组件（存储节点、跟踪器、跟踪用的数据库），均可运行在多个 机器上，因此没有单点失败。（你也可以将跟踪器和存储节点运行在同一台机器上，这样你就没有必要用4台机器）推荐至少两台机器。(3. 自动的文件复制 — 基于不同的文件“分类”，文件可以被自动的复制到多个有足够存储空间的存储节点上，这样可以满足这个“类别”的最少复制要求。比如你有一个图片网站，你可以设置原始的JPEG图片需要复制 至少三份，但实际只有1or2份拷贝，如果丢失了数据，那么M