sina elk，从运维到服务之路 -凌霄.pdf

Sina ELK 从运维到服务之路 @craf sman-凌霄 关于我 - Weibo:@craftsman-凌霄 - Wechat:lx900905 - 2013年7月⼊职新浪 - 前渣浪MySQL DBA，⼤ 数据⼯程师 - 现在还在渣浪，又跑去为 微博多媒体下载和新浪 ELK服务的建设搬砖了。 Agenda - 运维⼀个50+的ELK集群 - 构建自动化平台化之路 - 提供深⼊业务体系的产品 运维⼀个50+的ELK集群 运维一个50+的ELK集群 架构演进之路 ⼯具介绍 架构演进之路 第⼀阶段 第⼆阶段 第三阶段 FILE Rsyslog Kafka - 日志推送实时性 - ⾼峰期上游日志堆积 - 计算节点存储空间 - 单次推送，服务解耦 Why Kafka？ 重要的事情：超⾼的吞吐！超⾼的吞吐！超⾼的吞吐！ 1、性能可扩展性 2、基于Topic的pub/sub 3、硬盘顺序写有多快? 4、Zero-Copy 架构演进之路 - 支持更为丰富的计算模式 - 计算迁移，固定纬度预分析 - 统计结果长久保存 - 问题转换，提升并发（altp-oltp） 架构演进之路 第⼀阶段: 第⼆阶段: ⼀、Data - 负责集群数据存储 - fetch集群中存储的数据 Master Data Master ⼆、Master - 集群状态管理 Client - 单独部署，管理节点稳定 - 奇数部署 三、Client Data Data - 处理HTTP请求处理分发（读写） - 处理查询请求时的数据聚合 工具介绍 KOPF bigdesk Elasticsearch集群可视化管理⼯具 Elasticsearch节点性能调优⼯具 工具介绍 Gork Debugger Curtor