分布式存储资源池架构规划设计.docx

?

?

分布式存储资源池架构规划设计

?

?

随着互联网业务迅猛的发展，企业的数据规模呈指数级上升，在现在的云计算时代，海量数据使存储的性价比有所降低。人工智能、大数据、云计算等新兴技术奠定了大规模分布式存储的应用前提。和传统存储相比，分布式存储更可靠，能够统一管理，具有可扩展性，系统容量大，可以通过横向的扩展去提升其单机性能。

分布式存储是将数据分散存储于网络中的多个数据节点上，其元数据库中的元数据实时更新，并存放于所有参与记录的区块链网络节点中，形成一个大规模的存储资源池。在分布式存储方式下，可实现超大集群规模的部署。每一个存储节点都可以提供独立的性能支撑，在高并发的数据处理中，可以实现更高的存储性能，有效解决海量数据高扩展和高性能的存储需求。分布式存储通过将数据统一存放在云存储资源池中，利用存储管理系统，可根据用户指令实现数据的调动与共享。另一方面，存储系统内置数据治理，数据分析等与数据强相关的数据应用系统，可实现便捷的数据处理，并将处理好的完整数据对接到大数据平台实现大数据的分析与应用，实现数据价值的挖掘。由于分布式存储采用了去中心化设计，所有存储节点都可以承载业务系统，在遭遇故障时，系统多节点并发恢复，可以大幅缩短故障窗口，这些基础特性都进一步提升了系统的可靠性。

鉴于分布式存储具备的以上优势，企业向分布式存储架构转型，建设分布式存储资源池已经成为趋势，而如何建设分布式存储资源池则需要企业实际需求进行综合考虑。为了能更好的帮助架构师、运维工程师们解决这方面的困难，社区特别邀请了江西农信、前海财险架构师、北京现代、晋城商行、江西裕民银行、江苏金农、本钢矿业、中国民生银行信用卡中心、中国银行等企业的同行，同时也特别邀请了SmartX和XSKY的专家们一同参与交流分享。大家的交流重点围绕：分布式存储的应用趋势及必要性、分布式存储资源池硬件架构规划、分布式存储资源池网络架构规划、分布式存储资源池容灾规划。

以下是活动探讨内容的整理总结，希望给同行们在分布式存储资源池项目建设规划上提供一定的参考和帮助。更多交流内容可以点击文末查看。

1、目前分布式存储是否适用大多数行业和应用？

【问题描述】随着X86性能的提升和万兆10万兆网络的发展，分布式存储的瓶颈似乎也越来越少，除了特殊行业如金融等对IO有特殊要求的行业。分布式存储是否适用在大多数行业和应用中呢？以我目前接触过两个例子来说。一个用的超融合运行大数据分析业务，另一个用的Vsan运行虚拟化，上面分布数据库，中间件等，由于业务没有那么大的压力。所以目前看分布式存储是可以胜任这样的环境的。在实际更多的行业中，还有哪些除了对IO有很高要求的行业以外，不适用分布式存储的应用呢？

@刘东?东软集团IT技术咨询顾问：

首先，随着X86服务器性能的提高，10GE/100GE网络的性能提升、固态硬盘的普及和大容量硬盘的出现，分布式存储确实越来越突显出其优势，性价比高，规模化部署成本低，性能线性增长，这些特性让越来越多的行业正在将业务更多的部署在分布式存储上。从前几年的试探性部署，到现在的规模化部署，分布式存储的市场增长率，在大容量存储市场，已经显著的超过了传统架构的集中式存储。

其次，我们需要看到，各个行业虽然都在大规模的部署分布式存储，但是传统的集中架构式存储仍有市场空间，目前据我了解，还没有任何一个行业的存储市场完全被分布式存储替代，仍然是混合架构，而非专有架构。

最后，我们从两个不同的行业进行分析，看一下具体的应用场景。

1、医疗行业，最适合分布式存储部署的场景就是PACS文件系统，这类系统的应用特点是对文件存储有大容量的存储需求，同时又要求高性能。平均每个大型医院每年的数据增长量有几十TB，所以传统集中存储架构已经不适合这种大规模的数据量增长需求。最不适合分布式存储部署的是核心HIS系统，这类系统数据量不大，通常只有最多只有几个TB，每年数据增长几十GB，但是对I/O非常敏感，而且涉及到财务，对数据一致性要求也比较高，不太适用分布式存储。

2、政府行业，最适合分布式存储部署的场景是大数据平台、电子公文系统等，类似公文这类系统通常需要存储大量的邮件附件等文件，对数据量要求比较高，但是性能要求一般，使用大容量低成本硬盘组件分布式存储是非常合适的，不但可以降低政府部门投资，灵活的扩展能力也可以将系统投资按年进行扩容，合理分配预算。最不适合的是电子政务的数据库系统，通常这类系统存储民生等关键业务数据，特别是在做全国数据集中核算过程中，对I/O和数据一致性要求都比较高，不太适用分布式存储架构。

@赵海?技术经理：

首先，分布式存储这个概念不是一个唯一的产品，很多产品都可以归为分布式存储的范畴。例如有分布式对象存储，分布式文件系统存储。不同的产品由于其数据存取及组织方式的差异，必