云平台监控系统的与实现技术总结.ppt

谢谢！ 请各位老师、同学指正！ 各位老师，下午好，我的论文题目是：云平台监控系统研究与实现 * * * * * * Ganglia手动配置信息，如Gmond节点配置所属簇、IP和端口，数据传输IP和端口， * 信息学院计算机 第*页 云平台监控系统的研究与实现 指导教师：邵秀丽 教授 汇报人：孙杰 汇报内容 5 1 2 3 4 5 6 研究背景与意义 研究背景 云平台聚合了大量软硬件资源，并采用虚拟化技术实现动态按需提供服务,为确保云平台正常运转，必须对云平台多方监控 现有监控系统存在功能单一、专用等缺点，不适合云平台监控 研究意义 云平台监控系统旨在构建自主配置、容错性强的监控系统架构，多维度监控和证明云的物理资源和虚拟资源的正常运行，降低云平台运营者维护云平台的难度 监控用户使用云存储服务、计算服务和其他服务并进行计费管理，增强云端对用户的透明度，提高用户对云平台服务商的信任程度 主要工作 系统关键点：云端节点接入自配置改进、容错机制改进 系统关键模块：资源监控、用户监控 系统实现 系统总体设计 汇报内容 5 1 2 3 4 5 6 云平台监控系统设计 此模块实现对物理资源、虚拟资源、服务资源进行监控，并进行负载分析 此模块实现对用户使用云服务的监控和分析，并进行计费管理 此模块实现云端节点接入自配置，并且改进系统容错能力 Ganglia开源，层级结构 云平台监控系统设计 云端接入物理节点和虚拟节点的CPU、内存、磁盘、负载、IO吞吐量等性能参数，使用Ganglia采集 Hadoop运行中的宏观数据，如云平台剩余存储容量、等待作业数、HDFS总读写量等变化情况 用户使用云存储服务、计算服务、其他服务情况 用户注册，节点配置等产生数据 监控信息流 汇报内容 5 1 2 3 4 5 6 资源监控 资源监控数据库表结构 将RRD数据抽取到设计的监控分析库中，并进行相应的分析 资源监控 组域 节点 后缀rrd 分析RRD格式并从中提取数据信息 存储解析的数据 读取组域信息、节点信息、RRD文件信息 数据抽取组件 资源监控 云平台单节点资源利用率 瞬时利用率和平均利用率 内存利用率 磁盘利用率（如内存利用率） CPU利用率 网络带宽利用率 平均负载 温度 多维度资源利用率分析 资源监控 云平台服务器虚拟资源利用率 虚拟资源内存利用率 虚拟资源磁盘利用率（如内存利用率） 虚拟资源CPU利用率 服务器上虚拟机总共使用的虚拟CPU个数超过服务器实际CPU个数时，CPU资源将会按时间片划分，导致网路通信等其他正常指标的规律性波动。虚拟机cpu的个数对服务器产生的影响: 网络带宽负载 服务器与其上虚拟机通信，以及服务器上所有虚拟机之间通信并不对集群网络造成影响，只有服务器和虚拟机与其他节点通信才对集群网络造成实际影响 第*页 资源监控 云平台集群资源利用率 集群内存利用率 集群CPU利用率 集群综合利用率 引入权重w，用以调节不同资源类型对不同服务的影响程度 用户监控 考虑因素 增强云端存储对用户透明度，深层次跟踪文件，并统计用户存储占用量 增强云端计算对用户透明度，并统计用户计算占用量 需要对用户按需收费 解决方案 编写组件StoreMonitor允许用户对自己在云平台中机密文件进行全方位跟踪，包括文件被访问、修改情况，文件存放位置，数据块迁移历程及操作，并科学统计用户存储服务使用量 编写组件CalculateMonitor允许用户对自己在云平台开展的作业进行开启、停止、设置参数等控制、对作业运行跟踪及历史记录查询，并科学统计用户计算服务使用量 定义计费管理公式 用户监控 用户存储监控及分析组件 对文件、文件夹进行创建、删除、修改等操作 对设定跟踪的文件进行多方位的监控，包括文件访问情况、文件-数据块对应关系、数据块-节点迁移历程、数据块经历的操作，以及用户存储量的变化，采用事件触发模式保证数据的准确性 用户监控 用户存储量变化采集流程 文件创建时： 文件删除时： 文件追加时： 文件副本数目更改时： 文件所有者更改时： 用户监控 用户计算监控及分析组件 用户对作业和任务的控制信息，比如开启作业、设置优先级等 初始部署时采集已经结束的作业任务信息 实时采集运行中的作业、任务各种信息 用户监控 用户计费 依据 用户存储占用量 用户计算占用量 计费公式 管理员给出计费标准，每KB存储资源占用收取费用基数为M元，任务每秒计算收费基数为N元，则对用户U在T1到T2时间内应收费用计算公式为： 汇报内容 5 1 2 3 4 5 6 云端节点接入自配置 问题 如何解决Ganglia