cStor云存储平台解决方案_20130526.doc

cStor云存储平台解决方案  目 录 1 概述 3 1.1 建设背景 3 1.2 设计范围 3 1.3 总体设计原则 3 2 云存储系统平台设计 5 2.1 项目需求 5 2.2 设计思想 5 2.3 云存储系统方案 6 2.4 系统优势和特点 7 3 系统架构 9 3.1 系统基本组成 9 3.2 系统功能描述 10 4 工作机制 17 4.1 数据写入机制 17 4.2 数据读出机制 18 5 关键技术 19 5.1 负载自动均衡技术 19 5.2 高速并发访问技术 19 5.3 高可靠性保证技术 19 5.4 高可用技术 20 6 接口描述 20 6.1 POSIX通用文件系统接口访问 20 6.2 应用程序API接口调用 21 7 本地容错与诊断技术 21 7.1 cStor高可靠性 21 7.2 cStor数据完整性 22 7.3 cStor快照技术 22 8 异地容灾与恢复技术 22 8.1 cStor数据备份与恢复系统功能 22 8.2 cStor异地文件恢复 23 9 部署方案 23 10 性能指标 23  概述 云存储平台为本次系统总体解决方案的一部分。主要针对海量的视频数据集中存储与共享，建立一套具有高可靠、可在线弹性伸缩，满足高吞吐量并发访问需求的云存储平台。为系统数据存储提供便捷、统一管理和高效应用的基础平台支撑。 设计范围 本技术解决方案针对海量数据集中存储与共享，提供从系统软硬件技术架构、原理、硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。 总体设计原则 针对本次工程的实际情况,充分考虑系统建设的建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。 先进性原则 在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。选择实用性强产品，模块化结构设计，既可满足当前的需要又可实现今后系统发展平滑扩展。 安全性原则 数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取。同时配置安全的备份系统，对应用数据进行更加安全的数据保护，降低人为操作失误或病毒袭击给系统造成的数据丢失。 在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。 成熟性原则 为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供统一的通用稳定访问接口。 开放性原则 系统建设具有开放性的标准体系，提供符合POSIX标准的通用文件系统访问接口，开放的应用API编程接口，提供人性化的应用和管理界面，以满足用户需求。遵循规范的通用接口标准，使全系统中的硬件、通信、软件、操作平台之间的互联共享。充分考虑系统的升级和维护问题，维护采用在线式的，即在系统不停止工作的情况下，可以更换单元备件。系统的维护和升级操作由系统管理员即可完成。 经济性原则 现有业务系统存储数据量较大，且数据的增长速度较快。因此在建设系统存储架构时，应从长远的角度考虑，建设一个长期的存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时间内能够保持相对稳定。结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。通过软件实现在较廉价普通服务器上实现高度容错，同时能够在较低冗余度的情况下实现高度可靠容错，大大节约和降低系统建设的硬件成本。 云存储系统设计 容量需求 650路200像素摄像头保存2个月，需要存储容量约3214TB。详细计算如下： 1MB * 3600 * 24 * 60 *650 = 3369600000MB = 3213.5009765625TB 吞吐量需求 为满 扩展性需求 未来根据业务应用的变化快速实施系统资源的升级，可以在的状态下扩展，不会导致架构发生根本性变化，为不断产生和变化的需求提供持续的支持，支持业务系统的快速整合和部署对核心系统基础架构的特别要求。 要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充分提高资源利用率，简化管理，并能灵活、可持续展。 要求系统具有自适应管理能力，安装、维护、升级简易方便，提供统一易用的WEB配置管理监控平台，实现智能化管理。 接口需求 要求能够提供通用的文件系统接口，方便用户及应用系统访问，减少与应用集成或开发工作量，实现系统快速部署与集成。 设计思想 云存储方案 cStor云存