- 1、本文档共26页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
sina elk,从运维到服务之路 -凌霄
Sina ELK
从运维到服务之路
@craf sman-凌霄
关于我
- Weibo:@craftsman-凌霄
- Wechat:lx900905
- 2013年7月⼊职新浪
- 前渣浪MySQL DBA,⼤
数据⼯程师
- 现在还在渣浪,又跑去为
微博多媒体下载和新浪
ELK服务的建设搬砖了。
Agenda
- 运维⼀个50+的ELK集群
- 构建自动化平台化之路
- 提供深⼊业务体系的产品
运维⼀个50+的ELK集群
运维一个50+的ELK集群
架构演进之路
⼯具介绍
架构演进之路
第⼀阶段 第⼆阶段 第三阶段
FILE Rsyslog Kafka
- 日志推送实时性 - ⾼峰期上游日志堆积
- 计算节点存储空间 - 单次推送,服务解耦
Why Kafka?
重要的事情:超⾼的吞吐!超⾼的吞吐!超⾼的吞吐!
1、性能可扩展性 2、基于Topic的pub/sub
3、硬盘顺序写有多快? 4、Zero-Copy
架构演进之路
- 支持更为丰富的计算模式
- 计算迁移,固定纬度预分析
- 统计结果长久保存
- 问题转换,提升并发(altp-oltp)
架构演进之路
第⼀阶段: 第⼆阶段:
⼀、Data
- 负责集群数据存储
- fetch集群中存储的数据
Master
Data
Master ⼆、Master
- 集群状态管理
Client - 单独部署,管理节点稳定
- 奇数部署
三、Client
Data
Data
- 处理HTTP请求处理分发(读写)
- 处理查询请求时的数据聚合
工具介绍
KOPF bigdesk
Elasticsearch集群可视化管理⼯具 Elasticsearch节点性能调优⼯具
工具介绍
Gork Debugger Curtor
您可能关注的文档
最近下载
- 2021年湖南省融资担保集团有限公司校园招聘试题及答案解析.docx
- 危重患者病情观察及护理考核试题与答案.docx
- 石油化工电路防爆电气设备—安装作业指导书.doc VIP
- 俯卧位通气课件.pptx VIP
- 就业指导讲座心得体会.pdf
- 05SFG04-钢结构装配式防倒塌棚架结构设计图集.pdf
- 第1号修改单《安全阀安全技术监察规程》(TSGZF001-2023年).docx
- Discourse and register analysis approaches课件.ppt
- 第4节带电粒子在电场中的运动(教学设计)新教材2023-2024学年高中物理必修第三册(鲁科版).docx
- 智慧电厂智能电厂智慧运行平台方案.pptx
文档评论(0)