极兆基因数据存储系统 IBS-G.pdf

极兆基因数据存储系统 IBS-G 解决方案 2016.09 1. 项目介绍 1.1 项目背景 随着医院信息化和 IT 业的迅速发展，越来越多的人体数据能够获得存储和利 用，对于基因数据存储和医疗影像存储的处理分析也提升到了新的高度，当前， 每日新增数据量达到数十 GB 以上，高效的存储和读取的大数据量成为传统磁盘 阵列存储结构的瓶颈。现有的传统磁盘阵列存储系统虽然可以存放一定量的医疗 信息，但大量的数据需要进行访问以及被反复读取利用时，就无法保证检索效率 和查询效率，严重影响了响应的实时性。另外，传统存储对大数据量和大数据存 储的管理存在同样类似的瓶颈。 1.2 建设原则 先进性：系统设计采用当前先进而成熟的技术，不仅可以满足本次项目需求， 也适应未来的发展方向。 高性能：设计必须保障网络及设备的高吞吐能力，保证数据的高质量传输， 保证在可预见的将来满足性能要求，避免网络瓶颈影响整体的系统应用。 可扩充性：系统设计充分考虑可扩充性，从而确保新功能、新业务的增加在 原有的系统平台上扩展和实现。 高可靠性：具备先进的容灾的设计，充分保证系统的高扩展能力和高容错能 力，具有通道负载自动均衡能力和存储系统性能调节能力。 高可用性：在不停机情况下实现扩容、维护、升级等服务，具备 7×24×365 连续工作的能力。 开放性：支持国际上通用标准的网络存储协议、国际标准的应用开放协议， 保证与其它主流服务器之间的平滑连接互通和兼容性，以及将来网络的扩展性。 1.3 需求分析  客户需要大量的存储空间用来处理数据，总量约在 60T 左右，根据整体 数据的增长情况，为了充分考虑客户的成本及后期扩容的需求，建议采 用分布式文件存储系统来作为存储设备；  客户对数据安全十分重视，要求存储设备具有较高的数据冗余性，必须 确保即使硬盘或某台分布式存储节点数据损坏数据依旧可以访问且不 会损坏；方案建设中不仅具备单节点的RAID 技术对单组硬盘进行保护， 还具备多副本数据安全、N+M 纠删码技术为存储节点和存储节点之间的 数据安全提供保护，这样的存储方案可同时兼顾数据安全性，效率以及 性价比。  在管理方面需要设定数据访问权限，设置账户及管理员，通过管理权限 的设定有效的共享和限制数据的访问。  对于数据处理方面，要求计算集群能够通过存储进行数据处理分析，保 证数据分析结果反馈的时效。另外，需要对现存的病例包、DNA 等数据 进行全数据索引和快速检索。 2. 基因数据存储解决方案 2.1 系统体系架构 架构说明 1. 由极兆分布式存储设备来完成存储层的搭建，接入两台万兆以太网交换 机为存储链路和外部服务链路提供万兆以太网支持； 2. 本案配置为 3 个存储节点，每一个存储节点均包含 10 块 7200RPM 6TB SATA 企业级硬盘，足以为每个极兆存储节点提供足够的存储容量及基础 带宽；另外配置两块 300G SAS 系统盘和两块 400G SSD 缓存盘用于热点 数据加速。 3. 整个存储集群能够提供 60T 可用空间，双副本数据保护。 4. 通过万兆以太网链路，集群聚合带宽随节点的增加呈线性增长； 5. 极兆基因存储系统为去中心化的分布式存储系统，所以不需要额外的节 点来进行元数据的管理或数据的存储控制，每一个节点既存储了元数据， 又存储了数据，不存在单点故障或元数据性能瓶颈问题； 6. 所有的节点形成一个虚拟的存储资源池，为前端提供文件存取服务，访 问任意一个节点都能存储同样的数据； 7. 通过 DNS 轮询和虚 IP 飘移技术为存储访问提供前端负载均衡和高可用保 障； 8. 极兆基因存储通过集群内多副本数据或 N+M 纠删码来提供节点间冗余 支撑以及对于数据安全的保护，最多可以支持集群内仅