存储知识点培训讲解.pptx

存储知识点培训 湖南安存科技有限公司 软件定义存储 我们知道软件是用户与硬件之间的接口界面。用户主要是通过软件与硬件进行交流。早期为了大规模制造，降低制造的复杂度和成本。许多功能都固化在硬件里，我们可以称之为硬件定义。随着人民日益增长的多样化、个性化定制的需求，以及更加智能、更加灵活所需的自动化的需求，出现了软件定义。 就是要将特定的硬件与软件进行解耦，将硬件的可操控成分按需求，分阶段的，通过编程接口或者以服务的方式逐步暴露给前端应用，分阶段地满足应用对资源的不同程度、不同方面的灵活调用。 全局统一命名空间 全局统一命名空间将磁盘和内存资源聚集成一个单一的虚拟存储池，对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池中进行弹性扩展，比如扩容或收缩。 消除了SAN环境中经常发生的访问热点和性能瓶颈问题。 基于标准协议 存储服务支持NFS, SAMBA, 以及原生协议，完全与POSIX标准兼容。 现有应用程序不需要作任何修改或使用专用API，就可以对存储服务器中的数据进行访问。 负载均衡 其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。 在云存储中主要包含2层意思：一是原有负载的均摊，二是扩容后的自动均衡。 根据空间利用和动态负载情况进行自适应负载均衡、数据自动迁移。 可靠性 容错能力可达99.9999% 可靠性容错能力可达99.9999% 6个9的存储系统，表示系统在连续运行1年时间里，非人为故障可保持业务中断时间不超过31秒。 与产品的工作模式相关。 元数据智能分布 元数据智能分布 吞吐量系统实测＞200万IOPS；聚合带宽系统实测＞100万GB/S 吞吐量和聚合带宽是衡量存储系统两个性能指标。 吞吐量：指单位时间内进行读写（I/O）操作的次数。 聚合带宽：指由并行文件系统中各台服务器的带宽聚合所形成的对外统一的带宽值，可根据服务器规模和配置方式进行扩展。 冷热数据管理 根据数据冷热程度自动在不同性能和可靠性的存储介质中迁移数据，对外提供统一服务接口。 支持两种冷热数据管理模式： 分层存储，即热数据存储在快卷，达到性能的极致；冷数据存储在慢卷，达到可靠性的极致；这种模式存储空间利用率高，但热数据的可靠性低于冷数据。 另外一种模式是缓存模式，即热数据同时会存储在慢卷和快卷，这种模式下全系统数据的可靠性达到一致。 容错性能 1+N多副本——指写一份数据存储同时复制N份数据存储（N=1、2、3、、、N）。 K+M(原N+M)纠删码——指K个原始数据数据块加上M个校验数据块的结构，其中数据块K和校验块M值都能够按照一定的规则设定。存储系统支持此特性时，可做到系统中任意M个数据块丢失或损坏的情况下，数据可恢复，保持完好。 将文件按照一定的规则分为K份，使用预先定义的算法生成M份冗余码，其中数据块K和校验块M的值能够按照一定的规则设定。在1～M个数据块（数据或校验都行）损坏的情况下，整体数据仍可以通过计算剩余数据块上面的数据得出，整体数据不会丢失，存储仍然是可用的。 我们实现时充分考虑原始数据和冗余码的分布，从而实现了对节点的容错。节点当机时，正常业务不受影响，等结点修复上线后，存储系统会自动进行修复。 纠删码原理 如图：6+3纠删码组合，最大可容忍3个数据块同时损坏 纠删码与RAID 纠删码和大家熟悉的RAID技术看起来是有些类似的，一条数据是由多个数据块构成，分为数据块和校验块。但与RAID5/RAID6不同的是，纠删码功能上来看最大的区分特点是校验和数据的比例按K+M可调整，并且校验块数量不再受限于两个，典型的如12+4，6+3等等。 具备了跨节点容错能力。 数据恢复快 数据恢复速度快，踢盘或者替换故障硬盘最小恢复时间低于1分钟。 采用传统RAID技术的存储系统在踢盘或替换故障磁盘后通常需要长达十几小时的恢复时间。 在线替盘 支持在线替换故障磁盘和存储服务器，数据在新插入的磁盘和存储服务器上自动修复，支持跨节点数据恢复。 任一节点的磁盘损坏后，可在任一其它盘位恢复数据，且业务不中断。 存储系统常见故障我们的处理方式 坏道 指硬盘上的某些区域发生故障，写到其上的数据可能丢失。 引发原因： 自身质量的问题 硬盘维护不当 突然断电 用户使用的原因，使用上不能善待硬盘，比如内存太少以致应用软件对硬盘频繁访问，对硬盘过分频繁地整理碎片，不适当的超频，电源质量不好，温度过高，防尘不良，震动等。 老化 解决方案：蓝宝石云存储在服务端可以定期自动检测坏道的出现，在底层文件系统屏蔽坏道，在客户端通过数据恢复技术确保在坏道存在情况下正常读写数据，并将恢复后的数据块写到健康位置。 存储系统常见故障我们的处理方式 坏盘 磁盘是存