cstor云存储平台解决方案、机房规划和部署图_20130512 -.doc

cStor云存储平台解决方案  目 录 1 概述 3 1.1 建设背景 3 1.2 设计范围 3 1.3 总体设计原则 3 2 云存储系统平台设计 5 2.1 项目需求 5 2.2 设计思想 6 2.3 云存储系统方案 6 2.4 系统优势和特点 8 3 系统架构 10 3.1 系统基本组成 10 3.2 系统功能描述 12 4 系统安全性设计 18 4.1 安全保障体系框架 18 4.2 云计算平台的多级信任保护 20 4.3 基于多级信任保护的访问控制 24 4.4 云平台安全审计 27 5 工作机制 30 5.1 数据写入机制 30 5.2 数据读出机制 31 6 关键技术 31 6.1 负载自动均衡技术 31 6.2 高速并发访问技术 32 6.3 高可靠性保证技术 32 6.4 高可用技术 33 7 接口描述 33 7.1 通用文件系统接口访问 33 7.2 应用程序API接口调用 33 8 本地容错与诊断技术 34 8.1 cStor高可靠性 34 8.2 cStor数据完整性 34 8.3 cStor快照技术 35 9 异地容灾与恢复技术 35 9.1 cStor数据备份与恢复系统功能 35 9.2 cStor异地文件恢复 36 10 部署方案 36 11 性能指标 37 概述 云存储平台为本次新媒体内容聚合平台总体解决方案的一部分。主要针对海量的音视频文件、用户UGC数据、转码后生成文件、共享资料及其它各类数据的集中存储与共享，建立一套具有高可靠、可在线弹性伸缩，满足高吞吐量并发访问需求的云存储平台。为新媒体内容聚合平台数据存储提供便捷、统一管理和高效应用的基础平台支撑。 设计范围 本技术解决方案针对海量数据集中存储与共享，提供从系统软硬件技术架构、原理、硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。 总体设计原则 针对本次工程的实际情况,充分考虑新媒体内容聚合平台建设的建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、可靠、可扩展、高可用、易用和可管理、开放、可移植”为总体设计原则。 先进性原则 在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。选择实用性强产品，模块化结构设计，既可满足当前的需要又可实现今后系统发展平滑扩展。 安全性原则 数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取。同时配置安全的备份系统，对应用数据进行更加安全的数据保护，降低人为操作失误或病毒袭击给系统造成的数据丢失。 可靠性原则 整个云存储系统在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。 可扩展性原则 云存储系统支持横向扩展(Scale-Out)。通过先进的分布式计算和存储架构，支持在存储容量和系统性能两个维度上的扩展。通过动态地添加存储节点，实现在线不停机的扩容功能。用户无需中断业务运行，即可动态线性的增加存储容量和系统。 通过云存储系统的横向扩展能力，存储容量、系统带宽、处理能力、文件IOPS能力可线性增长，具有良好的可扩展性和灵活性。 可用性、易用性和可管理性原则 存储数据会按照存储策略进行分片，分布到各个存储节点中去，使得读写操作也可以在各个存储节点上并发执行，大大提升性能。因此云存储系统可支持大并发用户读写，支持大规模商用系统。 为确保整个系统能够稳定工作，软件平台使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供统一的通用稳定访问接口。 提供基于web的人机操作界面和维护界面，提供详细的文档和联机帮助与提示信息，可以通过web操作界面完成系统参数的维护与管理，可方便地对网络设备、操作系统、存储节点、磁盘、CPU、内存等进行有效地监控、管理与维护。 开放性原则 系统建设具有开放性的标准体系，提供符合NFS、CIFS、POSIX标准的通用文件系统访问接口，支持开放的应用API编程接口，提供人性化的应用和管理界面，以满足用户需求。遵循规范的通用接口标准，支持主流的操作系统，包括Windows，Suse、CentOS、Redhat等Linux，使全系统中的硬件、通信、软件、操作平台之间的互联共享。支持和第三方系统的互连。 充分考虑系统的升级和维护问题，维护采用在线式的，即在系统不停止工作的情况下，可以更换单元备件。系统的维护和升级操作由系统管理员即可完成。 可移植性原则 现有业务系统存储数据量较大，且数据的增长速度较快。因此在建设系统存储架构时，应从长远的角度考虑，建设一个长期的存储架构，除了可以