better elk.pdf

新浪实时⽇志分析服务进化新浪实时⽇志分析服务进化 Better ELK ⾼英举(@Gary的影响⼒) http://garyelephant.me ContentsContents 服务介绍 技术架构 Do Better 提升服务质量 增强易⽤性 提供新功能 我们经历过的坑和坎⼉ 未来努⼒⽅向 实时⽇志分析服务介绍实时⽇志分析服务介绍 服务内容：实时的⽇志有哪些信誉好的足球投注网站和统计 已有⽤户：微博图⽚下载，微博视频，微盘， 秒拍，云存储，SCE, CDN 规模：每天35亿条⽇志，2TB 技术架构技术架构 技术架构技术架构 数据流： (1) ⽤户⽇志-- Kafka -- Logstash -- Elasticsearch -- Kibana (2) ⽤户⽇志-- Kafka -- Logstash -- Elasticsearch -- API Clients 技术架构技术架构 Kafka:接收⽤户⽇志的消息队列​ Logstash ：将⽇志解析为json输出给 Elasticsearch Elasticsearch ：实时⽇志分析服务的核⼼ 技术，⼀个schemaless ，实时的数据存储 服务，通过index组织数据，兼具强⼤的 有哪些信誉好的足球投注网站和统计功能。 Kibana ：基于Elasticsearch的数据可视化 组件，超强的数据可视化能⼒是众多公司 选择ELK stack的重要原因。 Better ELK,MoreBetter ELK,More Than ELKThan ELK 在在ELKELK的基础上为⽤户提供更好的基础上为⽤户提供更好 的服务的服务 Do Better MoreDo Better More 提升服务质量 增强易⽤性 提供新功能 提升服务质量提升服务质量 Elasticsearch优化 Logstash优化 ES Index管理系统 数据备份 监控报警 ElasticsearchElasticsearch优化优化 System Level 关闭swap max open files Jdk1.8 App Level ​ ES_HEAP_SIZE​ 调整shard, replica数 String默认not_analyzed 使⽤doc_values 定制index template LogstashLogstash优化优化 使⽤supervisord管理logstash 调⼤filter worker number(-w) 减少使⽤⾮官⽅插件和logstash-filter-ruby Es IndexEs Index管理系统管理系统 定期Create Index 定期Optimize Index 定期Close Index