分布式存储概述.pdf

101 －1 分布式文件系统概述 讲师介绍  刘爱贵，博士  毕业于中科院高能物理研究所  主要研究方向：分布式存储、 高性能计算、数据挖掘  专注于存储技术的研究与开发，GlusterFS 等 分布式文件系统资深理论研究与实践者  博客：/liuaigui  微博：/liuag  Email ：aigui.liu@  QQ ：9187434 培训提纲  分布式文件系统概念  分布式文件系统发展史  分布式文件系统设计目标 分布式文件系统一览 KFS MooseFS GFS HDFS FileStore FastDFS Ceph GFS2 SFS IBRIX CFS PanaFS ZFS Btrfs ISILON PVFS StorNext AFS OrangeFS OCFS2 Panasas GPFS OneFS NFS CIFS Coda Exanet GFarm GirdFS Castor Lustre TFS S3 DFS dCache HPSS BWFS CZSS MogileFS TerraGrid Glusterfs Loongstor InterMezzo YFS pNFS Sector Ivy 文件系统层次 单处理器单用户本地文件系统 多处理器单用户本地文件系统 多处理器多用户本地文件系统 多处理器多用户分布式文件系统 什么是分布式文件系统？  分布式文件系统(Distributed File System)  存储资源非本地直连，通过网络连接  NFS, AFS ，包括集群/ 并行文件系统  集群文件系统(Cluster File System)  由多个服务器节点组成的DFS  ISLION, LoongStore, Lustre, Glusterfs, GFS, HDFS  并行文件系统(Parallel File System)  所有客户端可以同时并发读写同一个文件  支持并行应用(如MPI)  GPFS, StorNext, BWFS, GFS, Lustre, Panasas 关键设计目标  名字空间与名字解析  资源可访问(协议、接口、性能)  透明性(访问、位置、迁移、重定位、复制、并 发、故障)  开放性(标准、接口、互操作性、可移植性)  可扩展性(异步、分布、复制、缓存)  可用性(复制、RAID、纠删码)  一致性(复制、缓存、CAP理论)  安全性(实体认证、访问控制、安全传输、加密)