Hadoop集群监控与Hive高可用向磊.pptVIP

  1. 1、本文档共17页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
Hadoop集群监控与Hive高可用向磊

HAProxy+Hive 网络拓扑 HAProxy+Hive高可用集群 LOGO LOGO * Hadoop集群监控与Hive高可用 -- 向磊 Page ? * Hadoop集群监控Cacti 默认Cacti模板太少 增加模板 我们的模板 磁盘IO 内存详情 单个内核使用 CPU总和及IOWait JMX支持监控Hadoop Page ? * Hadoop集群监控Cacti 优点 监控每台服务器的详细数据 SNMP采集数据可以自己定义 相比zabbix:无需客户端 安装配置简单 spine采集速度快 模板众多 支持IPMI 缺点 SNMPD为UDP协议,不够稳定 无法获知集群整体运行状况 Page ? * Hadoop集群汇总监控Ganglia Page ? * Hadoop集群汇总监控Ganglia 优点 集群总体状况和负载汇总 采用多播地址降低带宽占用 TCP采集 数据稳定 hadoop原生支持ganglia数据采集 缺点 配置稍复杂,需安装客户端 单台数据不如cacti详细 Page ? * Hive高可用集群 Hive存在的问题 单一节点Hive Thrift Server故障导致任务失败 高可用方案 多个Hive Thrift Server节点 HAProxy+Hive HAProxy在实际应用中出现过的问题和优化 Hive日志问题 轮询方式优化 仍存在不稳定因素,其他方式解决 Queries HAProxy HAProxy Hive Hive Hive Hive Hadoop Page ? * HAProxy+Hive高可用集群 HAProxy是什么及优势 OSI 4-7层代理转发 健康检查和多种轮询方式 配置简单 单点故障自动摘除 Page ? * HAProxy问题解决及优化 TCP Session超时 问题:查询时间长导致TCP Session进入CLOSE_WAIT 解决:HAProxy中增大几种TCP连接模式的timeout时间 Hive日志问题 问题:健康检查创造出太多Hive日志 解决:增大健康检查时间 轮询优化 常用几种轮询算法leastconn,round-robin,static-rr,source 推荐使用leastconn和static-rr 仍然存在的不稳定因素 Job提交给Hadoop后Hive宕机,Hive代理层无解。调度系统解决 Page ? * phpHiveAdmin测试版0.06 beta4 Molten Core 界面好看了一点 改变了一些CSS和页面色彩 功能增加了一点 Partition功能,表操作的各种增强,配置文件更加简单 查询增强了一点 复杂查询直接可实时监控map/reduce的全过程,记录操作日志 Page ? * phpHiveAdmin 工作流程图 Page ? * 新的phpHiveAdmin测试版 表操作 创建表 Page ? * 新的phpHiveAdmin测试版 Map/Reduce实时监控 LOGO LOGO *

文档评论(0)

sandaolingcrh + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档