- 1、本文档共18页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
better elk
新浪实时⽇志分析服务进化新浪实时⽇志分析服务进化
Better ELK
⾼英举(@Gary的影响⼒)
http://garyelephant.me
ContentsContents
服务介绍
技术架构
Do Better
提升服务质量
增强易⽤性
提供新功能
我们经历过的坑和坎⼉
未来努⼒⽅向
实时⽇志分析服务介绍实时⽇志分析服务介绍
服务内容:实时的⽇志有哪些信誉好的足球投注网站和统计
已有⽤户:微博图⽚下载,微博视频,微盘,
秒拍,云存储,SCE, CDN
规模:每天35亿条⽇志,2TB
技术架构技术架构
技术架构技术架构
数据流:
(1) ⽤户⽇志-- Kafka -- Logstash --
Elasticsearch -- Kibana
(2) ⽤户⽇志-- Kafka -- Logstash --
Elasticsearch -- API Clients
技术架构技术架构
Kafka:接收⽤户⽇志的消息队列
Logstash :将⽇志解析为json输出给
Elasticsearch
Elasticsearch :实时⽇志分析服务的核⼼
技术,⼀个schemaless ,实时的数据存储
服务,通过index组织数据,兼具强⼤的
有哪些信誉好的足球投注网站和统计功能。
Kibana :基于Elasticsearch的数据可视化
组件,超强的数据可视化能⼒是众多公司
选择ELK stack的重要原因。
Better ELK,MoreBetter ELK,More
Than ELKThan ELK
在在ELKELK的基础上为⽤户提供更好的基础上为⽤户提供更好
的服务的服务
Do Better MoreDo Better More
提升服务质量
增强易⽤性
提供新功能
提升服务质量提升服务质量
Elasticsearch优化
Logstash优化
ES Index管理系统
数据备份
监控报警
ElasticsearchElasticsearch优化优化
System Level
关闭swap
max open files
Jdk1.8
App Level
ES_HEAP_SIZE
调整shard, replica数
String默认not_analyzed
使⽤doc_values
定制index template
LogstashLogstash优化优化
使⽤supervisord管理logstash
调⼤filter worker number(-w)
减少使⽤⾮官⽅插件和logstash-filter-ruby
Es IndexEs Index管理系统管理系统
定期Create Index
定期Optimize Index
定期Close Index
您可能关注的文档
- 2016年公务员考试法律专业知识-法理学.宪法学.2017年行政诉讼法.刑法.2018年刑事诉讼法.民法.民事诉讼法讲义2019年2020年.pdf
- 2016年基础理论精讲班讲义(一)—民法—孟献贵.pdf
- 2016年幼儿教师资格考试串讲资料2017年保教知识与能力笔记2018年教师资格小抄讲义资料2019年.pdf
- 2016年幼儿教师资格考试讲义小抄2017年综合素质笔记2018年教师资格串讲资料2019年.pdf
- 2016上海国际奢侈品包装展展会申请表.pdf
- 2016刑法复习计划(详版).pdf
- 30094文献检索方法新技巧汇集.pdf
- 070312基于报酬合约的经理人羊群行为研究.pdf
- 071021_新药注册申报服务指南.pdf
- 223154_12s109 迭压(无负压)供水设备选用与安装.pdf
文档评论(0)