明略数据MDP2.0 白皮书.pdf

MDP ：Mininglamp Data Platform 产品白皮书 基于 Apache Hadoop 的大数据平台，专注于安全、可靠、易用、开 放的企业级需求 明略数据 2015/10/ 1 北京明略软件系统有限公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码：102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010H. MDP Introduction 图 1 MDP 架构图 Mininglamp Data Platform (MDP)是明略数据基于 Apache Hadoop 研发的大数据平 台。MDP 不仅提供海量数据存储和多种高性能计算框架，还为保护平台上的数据和服务提供 了完整的安全保障体系、图形化的平台管理和作业、统一的身份认证和权限管理、细粒度的权 限控制以及实时增量数据同步工具。 除了 Hadoop 组件外，MDP 集成了明略自有组件包含 ： • 统一集群与服务管理 NoahArk • 统一身份与授权管理组件 Access • 统一数据作业平台 DataOne • 细粒度的跨引擎 SQL 权限控制组件 ACRE • 实时增量关系数据库同步工具 INCR MDP 包含了十六种 Hadoop 社区最常用的组件 ，可以支撑多种计算类型的应用的混合负 载，例如批处理应用、交互式查询、高频读写、全文检索、数据挖掘和实时流计算等多种计算 北京明略软件系统有限公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码：102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010H. 类型。各行各业可基于这些计算手段和方式进行上层应用的建设。 图 2 MDP 支持混合业务负载 统一集群与服务管理 NoahArk NoahArk （诺亚方舟 ）是明略自主研发的企业级Hadoop管理系统。NoahArk为MDP提 供可视化的集群管理支持 ，帮助管理员提高运维效率、保证服务质量、优化集群性能、减少管 理成本。NoahArk的主要功能包含仪表盘、机器管理、服务管理、调度器配置、安全审计、 安全管理等功能模块。 NoahArk的特点：  极速部署 NoahArk系统针对hadoop生态系统中常用服务组合，提供简洁的整体安装方案，达到1小时内构建整 个数据平台的急速部署。  精简操作 NoahArk的设计目标是在任何规模，都能简单和明确的管理企业数据平台；用户可以集中地部署和管 理整个集群。 NoahArk重点优化集群管理的常用操作，力求一键式管理；并支持扩展非常用操作。  便捷扩展 NoahArk不仅能便捷横向扩展节点，也可以扩展符合标准的服务；使企业一站式管理集群上的全部服 北京明略软件系统有限公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码：102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010H. 务，包括hadoop生态系统中的组件和其他