面向Internet的分布式海量文件存储系统研究.ppt

面向Internet的分布式海量文件存储系统研究 韩 华 北京大学计算机科学技术系 网络与分布式系统实验室 2002-4-25 提纲 引言 “燕星1.0”系统 Peer to Peer基本问题 Peer to Peer路由算法 – Emergint “燕星2.0”系统 相关工作 结论 第一部分 引言 研究背景 Internet发展特征 规模（4:108），带宽（56k:10G），应用（email、telnet:电子商务、远程教育） 普及计算（Pervasive Computing） 服务，用户 网络存储 vs 本地存储 容量大、安全、可靠、方便 网络海量文件存储系统 Internet规模与带宽 典型应用 手机 网络家电 个人网上文件夹 远程教育平台 SSP 技术现状 FTP 单服务器 - 存储容量有限 集中式 - 性能低 xDrive Cluster - 容量大 集中式 - 性能低 基本问题 高性能 设计和软件手段 vs 动态性和不可预知性 高可扩展性 Giga - Peta (1,000,000G)- Exa 吞吐率、访问性能 安全、可靠 易用 基本思路 广域分布文件存储系统 Cache和以“网络距离”为依据的服务策略 合理资源权限管理 冗余 化整为零 - 多名字空间 本文贡献 “星”型结构 - 中小范围网络文件存储系统 多名字空间和权限管理机制 Peer to Peer路由问题形式化描述 Peer to Peer路由算法 – Emergint Peer to Peer海量文件系统设计方案 用户可控文件Cache机制 第二部分 “燕星1.0”系统 “星”型体系结构 名字服务器，文件服务器 逻辑文件名，物理文件名 特性 文件名位置无关 支持移动计算 良好的可扩展性 存储容量 网络服务 1:100 多名字空间 单名字空间 NTFS, UFS, NFS, AFS, xFS；面向少量用户、文件共享 多名字空间 文件相关性[Sollis 85][Neuman 92] 基于用户的多名字空间 方便文件管理 “联接”实现文件共享 资源权限管理机制 适合多名字空间、扩展UFS 模型(U,G,P,A,L) U: 系统管理员、高级用户和二级用户 G: 用户组 P: 权限集合, P=R*O O = {create, delete, modify, read, write, own} A: 授权操作 a(ui , uj , p), a(u ,g , p) 满足L L: 授权规则, L={l1, l2, … , l9} 授权规则 l1: ?a(ui , uj , p)，?a(u , g , p)，p ? p (ui) …… l9: ?a(sui , suj , p), ?a(sui , sgj , p), p ? 文件服务器选择策略 负载平衡 轮换、随机和空间最大优先 网络距离 三角原理 估测方法[Hotz94] （b1, b2, …, bm）- ni:（ , , …, ） 系统实现 JDK1.3+XML 文件Cache 目录Cache 性能测试（一） “燕星1.0” vs NFS GAB GFS Andrew Benchmark GAB结果 差将近一个数量级 原因：网络通讯、Java、应用层与核心层、优化 支持存储：实用 GAB+结果 读、写性能相当 性能测试（二） “燕星1.0” vs FTP “燕星1.0” 与FTP文件上传、下载性能相当 性能测试（三） “燕星1.0”性能随文件服务器数变化规律 结果：性能几乎保持不变 名字服务器的文件服务器管理负载较小 性能测试（四） “燕星1.0”性能随同时上线用户数变化规律 结果：支持同时上线最大用户数450 （FTP60） mkdir, write, delete：线性增加 scandir, read：下降、保持不变（Cache） “燕星1.0”总结 “燕星1.0”系统对于中小范围网络用户具有良好的实用性 名字服务器是潜在的瓶颈，限制了系统规模 需要新的具有高可扩展性的体系结构 第三部分Peer to Peer基本问题 分布对象定位机制 分布式系统重要组成部分 决定系统体系结构 发展过程 集中式 层次式 Peer to Peer网络 集中式对象定位机制 定位: OID, P 实例 名字服务：CORBA, DCOM, RMI 目录服务：X.500, LDAP, NIS, CORBA Trading Service 应用系统：Napster, “燕星1.0” 缺点： 规模、性能 层次式对象定位机制 层次结构 – 对应于语义层的层次结构 实例 DNS, Globe[Vrije98], Globus[Argonne99],Radar[A