云计算与大数据技术第3章 数据存储与管理技术.pptxVIP

集中式与分布式存储技术2025-03-31

目录CONTENTS分布式存储技术分布式文件系统分布式对象存储

01分布式存储技术CHAPTER

集中式存储集中式存储集中式存储就是一个可以支持基于文件的网络附加存储（NAS）以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储，因此也被称为多协议存储。集中式外挂存储类型集中式外挂存储类型分为直连式存储（Direct-AttachedStorage，简称DAS）、网络附加存储（NetworkAttachedStorage，简称NAS）、存储区域网络（StorageAreaNetwork，简称SAN）。

分布式存储分布式存储分布式存储系统指的是将数据分散存储在多台独立的设备上。它采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式存储包含分布式文件系统、分布式块存储、分布式对象存储，分布式数据库，分布式缓存等。

集中式存储与分布式存储的对比架构差异集中式存储将所有数据集中在一个大型存储设备或存储区域网络（SAN）中，依赖高性能硬件如高速磁盘阵列和光纤通道网络；而分布式存储则将数据分散存储在多个物理节点上，通过分布式文件系统或数据库实现数据的切分和冗余备份。扩展性对比集中式存储在扩展性方面存在瓶颈，当数据量增长到一定规模时，升级成本高且难度大；分布式存储则具备更高的扩展性，可以通过增加节点轻松扩展存储容量，适应大规模数据增长。

集中式存储与分布式存储的对比容错能力集中式存储的容错能力依赖于硬件冗余和备份机制，一旦主存储设备故障，数据恢复时间较长；分布式存储通过数据冗余和分布式算法，能够在节点故障时快速恢复数据，确保系统的高可用性。性能表现集中式存储在性能上依赖于高性能硬件，适用于对数据访问速度要求极高的场景；分布式存储则通过多节点并行处理，能够在大规模数据访问时保持较高的吞吐量和响应速度。

成本效益分布式存储可以利用廉价的商用硬件构建存储系统，降低硬件成本，同时通过软件定义存储实现资源的灵活管理和优化，提高资源利用率。高扩展性分布式存储通过增加节点实现存储容量的线性扩展，能够轻松应对数据量的快速增长，满足企业大规模数据存储需求。高容错性分布式存储采用数据冗余和分布式算法，能够在节点故障时快速恢复数据，确保系统的高可用性和数据的安全性。高性能分布式存储通过多节点并行处理，能够在大规模数据访问时保持较高的吞吐量和响应速度，适用于高并发场景。分布式存储的核心优势

分布式存储的应用场景大数据分析01分布式存储能够高效存储和处理海量数据，适用于大数据分析场景，如金融风控、用户行为分析等，帮助企业从数据中挖掘价值。云计算平台02分布式存储是云计算平台的核心技术之一，能够提供弹性可扩展的存储资源，支持云服务的快速部署和动态扩展，满足企业多样化的业务需求。内容分发网络（CDN）03分布式存储能够将数据分散存储在多个地理位置的节点上，实现数据的就近访问，提高内容分发的效率和用户体验，适用于视频流媒体、在线教育等场景。物联网（IoT）04分布式存储能够高效存储和处理来自大量物联网设备的数据，支持实时数据分析和处理，适用于智能家居、智慧城市等物联网应用场景。

02分布式文件系统CHAPTER

HDFS设计目标是大规模数据集的批量处理，通过将大文件分割成多个数据块并分布式存储，支持高吞吐量的数据访问，适合数据密集型应用。高吞吐量HDFS支持存储超大文件（GB到TB级别）和海量文件（千万级别），适合大数据场景，但不适合存储大量小文件，因为元数据存储开销较大。大规模存DFS通过数据块的冗余存储（默认3份）实现高容错性，即使某个DataNode发生故障，系统仍能通过其他副本提供数据访问，确保数据不丢失。高容错性HDFS采用“一次写入，多次读取”的模型，简化了数据一致性问题，适合数据写入后不需要频繁修改的场景。简单一致性模型HDFS（Hadoop分布式文件系统）

HDFS（Hadoop分布式文件系统）

Ceph通过RADOS（可靠自动分布式对象存储）提供统一的存储架构，支持块存储、文件存储和对象存储，满足多样化的存储需求。统一存储架构Ceph分布式文件系统Ceph采用CRUSH算法动态分配数据，避免传统分布式文件系统中元数据服务器的性能瓶颈，同时支持集群的自动扩展和负载均衡。动态数据分布Ceph通过数据副本和纠删码技术实现高可用性，即使多个节点故障，仍能保证数据的完整性和可访问性，适合关键业务场景。高可用性Ceph支持强一致性模型，确保数据写入后所有客户端都能立即读取到必威体育精装版数据，适合对数据一致性要求高的应用。强一致性

Ceph分布式文件系统

Amazon