电力大数据管理平台概要设计详解.docx

大数据平台管理概要设计-v1.02016/3/11修订记录版本号修订日期修订说明创建者审核者引言编写目的编写此概要设计说明书的目的是明确该产品的功能需求与程序设计，为下一步软件开发提供依据。本文档的预期读者：项目经理、技术管理、开发人员。总体描述电科院大数据平台下的平台管理功能模块一期的需求，主要用于大数据平台任务、进程、服务、数据的监控以及集群性能指标的可视化，便于帮助平台的运维工程师进行平台的日常维护与监控。 ，定义列出本文中用到的术语及其缩略语。名词描述功能设计整体功能设计图1：整体功能设计第一阶段集群监控Hadoop集群节点监控仪表盘功能简述提供对Hadoop集群的总体监控信息查看,如集群总内存、总CPU信息、存储等等,如下图所示。集群仪表盘示意图该功能模块涉及到集群中各个资源总量和实时指标的收集，并且基于实时指标与资源总量的占比提供集群状态的提示：0%~70%正常，71%~85%警示，85%以上告警；通过指标显示可查看集群中每个节点资源中占用前十的线程信息功能实现数据来源于ganglia组件，将数据读入elasticsearch有哪些信誉好的足球投注网站引擎服务器，通过页面web请求获取集群总体监控信息，通过点击单台节点，可查询CPU，内存，网络，硬盘，按由高到底查询前10的进程信息机器集群功能简述对Hadoop集群的硬件设备从Cpu、负载、内存、网络、磁盘五个方面进行详细的监控，并以图形化的界面进行展示。下面是几个监控方面的图形化展示：Cpu使用率示意图机器负载示意图内存使用情况示意图带宽使用情况示意图系统磁盘使用情况示意图功能实现数据来源于ganglia组件，将数据读入elasticsearch有哪些信誉好的足球投注网站引擎服务器，通过页面web请求参数进行过滤集群机器中不同类别，不同时间的资源使用情况Hadoop信息功能简介从Hadoop集群中的存储、块信息、节点状态以及任务状态进行监控。存储、块信息、节点状态示意图Hadoop MapReduce任务状态示意图功能实现数据通过hdfsapi获取hdfs数据，定时进行更新数据到mysql中，页面通过读取mysql获取集群节点信息与集群任务信息。日志管理日志查询日志查询分为集群日志查询和操作日志查询。功能简述集群日志查询:集群日志查询功能是用来对Hadoop集群中所有的日志进行查询,方便排查错误。可以按照不同的日志类型和日志级别进行查询。操作日志查询:是将用户所有的操作行为都记录下来,为管理员提供操作安全审计的。功能实现集群日志：通过flume组件将集群中机器的日志收集到solr有哪些信誉好的足球投注网站服务器中，通过web页面参数请求，进行过滤不同类别，不同主机，不同关键字的集群日志信息操作日志：定时读取系统日志配置记录,推送数据给mysql数据库,页面获取系统操作记录Spark集群仪表盘功能简述提供对spark集群的总体监控信息查看,如集群总内存、总CPU信息、存储等等,如下图所示。集群仪表盘示意图该功能模块涉及到集群中各个资源总量和实时指标的收集，并且基于实时指标与资源总量的占比提供集群状态的提示：0%~70%正常，71%~85%警示，85%以上告警功能实现数据来源于ganglia组件，将数据读入elasticsearch有哪些信誉好的足球投注网站引擎服务器，通过页面web请求获取集群总体监控信息。机器集群功能简述对spark集群的硬件设备从Cpu、负载、内存、网络、磁盘五个方面进行详细的监控，并以图形化的界面进行展示。下面是几个监控方面的图形化展示：Cpu使用率示意图机器负载示意图内存使用情况示意图带宽使用情况示意图系统磁盘使用情况示意图功能实现数据来源于ganglia组件，将数据读入elasticsearch有哪些信誉好的足球投注网站引擎服务器，通过页面web请求参数进行过滤集群机器中不同类别，不同时间的资源使用情况spark信息功能简介从spark集群中的节点状态以及任务状态进行监控。spark节点状态和任务状态示意图功能实现数据通过sparkapi获取节点数据，定时进行更新数据到mysql中，页面通过读取mysql获取集群节点信息与集群任务信息。日志管理日志查询日志查询分为集群日志查询和操作日志查询。功能简述集群日志查询:集群日志查询功能是用来对spark集群中所有的日志进行查询,方便排查错误。可以按照不同的日志类型和日志级别进行查询。操作日志查询:是将用户所有的操作行为都记录下来,为管理员提供操作安全审计的。功能实现集群日志：通过flume组件将集群中机器的日志收集到elasticsearch有哪些信誉好的足球投注网站服务器中，通过web页面参数请求，进行过滤不同类别，不同主机，不同关键字的集群日志信息操作日志：定时读取系统日志配置记录,推送数据给mysql数据库,页面获取系统操作记录虚拟化集群节点管理节点监控日志管理数据管理数据源管理数据源管理与监控数据源管理功能模块主要是针