大数据云计算平台解决方案.pdf

大数据云计算平台解决方案

第一部分云计算平台架构

1.1clouDil

1.2MapReduce+TaskMaster

1.3DataCube

1.4cCloud

1.5cStor

第二部分云计算平台能力

真正的云计算平台，它有五层架构：

l运维管理层：clouDil

l计算层：MapReduce+TaskMaster

l数据管理层：DataCube

l虚拟化层：cCloud

l存储层：cStor

第一部分云计算平台架构

1.1clouDil

1.2MapReduce+TaskMaster

1.3DataCube

1.4cCloud

1.5cStor

第二部分云计算平台能力

在搭建云计算平台时，遇到了很多的问题和挑战。开始搭建时，第一次来了那么多性能强劲的机器，我们在感到

兴奋的同时，也不免有些顾虑。

l出了问题怎么办，有没有预警机制？

l有没有可视化的管理界面？

l机器宕机，管理员能否实时监控到？

l如何做性能调优？

l扩容升级时，能否给出依据？

带着这些问题，我们开始了自己的云计算平台管理和运营之旅，现在完美的形成了一整套云计算平台管理体系。

流量监控

健康度报告

节点性能监控

集群状态监控

集群状态监控

第一部分云计算平台架构

1.1clouDil

1.2MapReduce+TaskMaster

1.3DataCube

1.4cCloud

1.5cStor

第二部分云计算平台能力

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

TaskMaster是云

创存储自主研发的一款

高效云调度平台。它保

证在云计算平台中部分

硬件或软件发生故障的

情况下仍不影响系统的

正常运行；保证在云计

算平台中高效稳定的合

理化分配和执行任务，

同时能够完美解决系统

单点故障问题，负载均

衡，自动调度与部署。

l产品优势

l高可靠性：采用“多主多备，负载均衡”的管理节点，从而保证无论管理节点还是处

理节点都不存在任何单点故障问题。

l低依赖性：采用模块化设计思想，通过统一化配置和API接口的方式向用户提供服务。

l低干预性：采用基于事件化的统一管理模式。在系统无人值守的情况下自动完成故障

处理等功能。

l高实时性：在机器性能允许的范围内，所有任务的控制工作基本都在秒级完成，具有

前所未有的高效性。

第一部分