集群式对象存储.ppt

集群式对象存储 传统存储 应用程序只看到Posix接口(Open, Read, Write… )，且通过Posix接口访问文件 文件系统有两个工作：负责文件在硬盘上的存储，并负责向上层的应用程序提供文件访问服务 硬盘内容= 元数据(目录)+数据(文件内容) 对象存储 应用程序只看到Posix接口(Open, Read, Write… )，且通过Posix接口访问文件 文件系统(客户端)负责向上层应用程序提供文件访问服务，文件系统(存储管理)负责文件在硬盘上的存储，即文件系统(客户端)不关心文件是如何存储的 文件系统(客户端)和文件系统(存储管理)通过对象接口交互。很容易实现网络化的客户-服务器服务模式 硬盘内容= 元数据(目录)+数据(文件内容) 集群式对象存储 应用程序只看到Posix接口(Open, Read, Write… )，且通过Posix接口访问文件 文件系统(客户端)负责向上层应用程序提供文件访问服务 文件系统(存储管理)=文件系统(元数据管理)+文件系统(数据管理) 元数据服务器的硬盘内容= 元数据(目录)。元数据服务器可扩展为多个 对象存储设备的硬盘内容=数据(文件内容)。对象存储设备可扩展为多个 集群式对象存储 文件是如何在集群式对象存储上存储的？ 对象存储设备，本质上就是服务器 10台服务器，每一台服务器有5个硬盘 集群式对象存储 文件是按文件块(约为1MB或4MB)分布在不同服务器的不同硬盘上 由于任何一个服务器或硬盘存在失效的可能，所以，每一个文件有一个或多个副本 注意：文件块的存储策略，还能基于不同的机架，或不同的数据中心 集群式对象存储 文件A和文件B在集群式对象存储中的分布 元数据(目录)服务器负责提供文件系统的目录信息 文件A和文件B的分布情况存储在元数据(目录)服务器中，且受元数据服务器的管理 集群式对象存储 1、文件系统(客户端)通过元数据服务器知道文件A在集群式对象存储上的分布 2、文件系统(客户端)逐次访问不同的对象存储设备，获取文件A的内容 每一个服务器(包括硬件和软件)的健康状态被系统监控 元数据服务器负责文件在对象存储设备上的存储分布，以及调整(如 增加、减少、迁移) 集群式对象存储 自动备份 当文件被写入时，元数据服务器会根据给定的策略，指示文件块如何被写入 策略包括：1)文件有几个副本;2)副本是否存在不同的地方(如不同的数据中心、不同的机架、不同的服务器、不同的硬盘) 集群式对象存储 自动恢复 当系统发现一个服务器或服务器上的一个硬盘失效时，会指示元数据服务器把该失效设备上的数据再次备份，保证文件的可靠性 集群式对象存储 自动恢复 当系统发现一个服务器或服务器上的一个硬盘失效时，会指示元数据服务器把该失效设备上的数据再次备份，保证文件的可靠性。 系统自愈是自动的，不需要管理员的参与 集群式对象存储 高性能 文件是按块从不同服务器的不同硬盘上访问的--- 1)很难有热点效应(动态调整) 2)I/O带宽是聚合的 自动的负载均衡 只需要元数据服务器按一定的条件调整文件块的分布 集群式对象存储 把文件系统的目录信息独立出来，由元服务器来提供(均连接到其上)，带来以下好处： 1)统一的名字空间，有利于应用之间的数据共享 2)在线扩展，有利于系统的扩展 3)其他的：聚合性能、自动负载均衡、自动恢复、自动备份 集群式对象存储 集群式对象存储 优点 1)海量存储:支持PB级的存储空间，可高效管理上百亿个文件对象，单目录可以有效支持千万级的文件数量。 2)虚拟化存储:统一的命名空间，所有应用服务器看到一致视图，方便全局文件系统的部署和扩展，同时确保数据中心内部应用系统的可靠性和容错能力。 3)高性能:具有高效数据读写技术和文件查询技术，能够提供高达几十个GB 的稳定聚合带宽(并行I/O,直接访问)，每秒数十万个的文件查询效率(元服务器是集群)。 4)高可用:自动故障探测和高效的自动恢复和容错技术，保证系统的高可用特性。 结构上---对象服务器+元服务器；数据上---多副本。 5)易扩展:支持在线扩容功能，扩容过程无需中断上层应用的正常运行，同时系统的总体IO 带宽随着规模的扩大成线性增长。 6)低成本:标准的服务器 7)支持异质结构:无缝集成已有的存储系统 8)自适应的负载均衡：I/O性能和存储分配 FC SAN(光纤通道式存储区域网) SAN 1)SAN，存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输 2) SAN是存储网络架构，与设备类型和协议无关：FC