云计算与大数据技术 课件3.1 存储虚拟化-存储架构基本知识.pptx

存储虚拟化-存储架构基本知识

数据存储与管理技术

云计算数据存储和数据管理核心技术主要涉及海量数据的分布式存储技术、海量数据管理技术。

云计算系统基础设施部分由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。

存储分类

常见存储的分类

存储分类

（服务器类型）

封闭系统的存储

开放系统的存储

内置存储

外挂存储

直连式存储（DAS）

网络存储（FAS）

网络接入存储（NAS）

存储区域网络（SAN）

封闭系统：大型机

开放系统：指基于Windows、UNIX、Linux等操作系统的服务器

数据存储与管理技术

集中式存储和分布式存储

大型机服务厂商有IBM、思科、联想等，比如IBMZ15™大型机

数据存储与管理技术

存储接口技术

不同设备、功能层之间的通信规则称为接口。硬件接口的种类繁多，如数据接口、通信接口、软件接口、管理接口等等。

磁盘按照接口类型我们可以分为ATA、SATA、SCSI、SAS、FC等等。

集中式存储技术

集中式存储就是一个可以支持基于文件的网络附加存储（NAS）以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储，因此也被称为多协议存储。

集中式外挂存储类型分为直连式存储（Direct-AttachedStorage，简称DAS）、网络附加存储（NetworkAttachedStorage，简称NAS）、存储区域网络（StorageAreaNetwork，简称SAN）三类。

数据存储与管理技术

集中式存储

数据存储与管理技术

分布式存储

分布式存储采用“标准的x86服务器硬件+存储软件”的架构，将标准X86/ARM服务器通过高速以太网或Infiniband（无限带宽）互连，通过分布式存储软件将服务器本地的机械硬盘、固态硬盘等存储介质组织成统一的大规模存储资源池。

分布式存储实现了存储的硬件与软件解耦，数据中心能够以标准化硬件搭建存储平台，提升IT敏捷性，降低运维成本，符合软件定义数据中心的发展趋势。

分布式存储

分布式存储

分布式存储

分布式文件存储采用分布式文件系统（DistributedFileSystem-DFS）完成数据存入，取出和删除，可以当做key/value的存取。

分布式文件系统现在比较出名的有Google的GFS（未开源），Hadoop平台的HDFS（Hadoopdistributedfilesystem）。文件存储适合多客户端有目录结构数据。典型应用场景有日志存储、多个用户有目录结构的文件存储共享。目前分布式文件系统主要用于大数据的存储场景。

分布式存储

分布式块存储适合客户端使用，典型使用场景有docker容器、虚拟机远程挂载磁盘存储分配、日志存储等。

分布式对象存储适合更新变动较少的数据，没有目录结构，不能直接打开/修改文件。典型使用场景有图片存储、视频存储、文件、软件安装包、归档数据等。

存储分类

分布式数据库都支持存入，取出和删除。

分布式数据库现在出名的有Hadoop生态中的Hbase，阿里公司的oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统做基础存储。