信息系统建设《对存储系统发挥特殊作用的文件系统》.ppt

对存储系统发挥特殊作用的文件系统 2006年5月 - 北京 存储系统当前是信息系统建设的核心 文件级在存储系统中的位置 从应用系统的I/O调用看存储模式 文件系统对存储系统的效率有举足轻重的作用 SAN和NAS存储模型的比较 误区之一：带宽决定一切 文件系统(1) 什麽是文件系统?计算机的文件系统是任何信息管理系统的基本元素。它是处理过的信息最终被放置的地方。关键应用系统的客户依靠文件系统得到快速、不间断的可靠的数据访问 。 – VERITAS 指数据(包括文件和metadata)在存储介质上的组织管理模式,以便能快速可靠地存取数据。文件系统是最初的存储“虚拟者”。每个操作系统都有自己的文件系统。例如 文件系统(2) 不同的文件系统有不同的格式。例如 不同的FS有不同的存储效率 文件系统对I/O效率的影响 文件系统决定了磁头如何读写磁盘 磁头是毫秒级操作，最大限度地减少磁头臂的平均移动次数，是提高读写效率的关键 WAFL 大目录处理 对谁有用? 大邮件目录 新闻 大目录环境每秒创建数 Copy-on-Write技术 (1) Copy-on-Write技术 (2) Copy-on-Write技术 (3) NetApp 的 Snapshot 快照技术 (1) NetApp 的 Snapshot 快照技术 (2) NetApp 的 Snapshot 快照技术 (3) NetApp 的 Snapshot 快照技术 (4) 不同“快照”方式的比较 存储系统中的缓存作用 基于文件系统的缓存 基于文件系统和基于卷的缓存 FC SAN解决数据共享的传统方法 NAS gateway方法 缺点： 两个管理界面 效率不匹配（NAS gateway可能是瓶颈） 资源不能完全共享 硬件资源浪费(Cache) 适用情况：绝大部分数据是结构化的，少量是非结构化的 群集文件系统与分布式文件系统 CFS：在群集范围内的所有存储设备上的每个存储块可以被并发读写。它不适用顾客，只适用服务器。 CFS通过分布锁管理器(DLM)来实现数据共享。如：ADIC的StorNext，IBM的 DFS：它协调所有的服务器实现数据共享。它对顾客和服务器采用2层结构的文件系统。在顾客层，它实现跨越所有机器的统一命名空间和单个文件系统的表达方式。它的服务器层承担所有的I/O操作，从数据存储的观点看，服务器层相当于存储层，有时就简称为存储结点。在DFS结构中，每个物理服务器管理自己的存储资源，不同的物理服务器彼此并不直接共享存储资源。如：NetApp的SpinFS（现在的Data ONTAP NG ) 群集文件系统CFS示例 DFS示例 关键技术—整体命名空间(global namespace) 简单 所有参加计算的节点,可以看到所有数据 简化mount点的管理 在顾客端无需改动 透明 扩展 灵活卷的移动 失效接管 扩展性 将命名空间用于PB数量级数据 可管理性 整体命名空间举例 扩展性 – 灵活卷的条带化 提供高性能选择 好处 创建跨多个控制器节点的灵活卷 将灵活卷的通量扩展到多GB/秒 将灵活卷的大小扩展到数百TB 传送多GB/秒的通量给重要文件和目录 保持管理的简单性 用相同的存储系统于多个应用需求 扩展性 – 透明扩展 透明扩展 透明数据移动 用于存储扩展 好处 迅速无缝地启用新存储和/或应用 无需宕机时间 对计算节点透明,不改变命名空间 扩展性 – 负载均衡镜像 灵活数据管理 – 数据移动 透明数据移动 适宜优化负载 好处 优化性能 充分利用磁盘空间 不影响应用运行 对顾客透明, 不改变命名空间 举例: 优化项目A的响应时间 灵活数据管理 – 分层存储 应用情况: 分层存储 根据磁盘的价格/性能比匹配磁盘 在同一命名空间内管理主存储与二级存储 分层存储应用: 归档 盘到盘备份 引用数据 应用情况: 顺序I/O应用 用ATA的价格,取得FC的性能 对不同的磁盘或应用要求,提供不同的RAID保护(如提供2块磁盘失效的数据保护) 卷管理 传统卷，FlexVol 今天的卷 卷是存储的基本建设模块 数据管理的操作和计划均围绕卷进行 快照 备份和恢复 空间的分配和供应 问题在于: 卷与底层的磁盘是密不可分的 缺乏灵活性 难于按应用特性分卷 空间利用率低 性能难于优化 介绍 FlexVol? Aggregates 与 FlexVols: 工作原理 Aggregates 与 FlexVols FlexVols: the logical storage container 能够不间断地扩大或缩小 可以小到几个MBs，也可大到整个 aggregate 保留所有其它卷级特性 Aggregate: 一个物理存储池 FlexVol?: 改善空间利用