曾勇-实时运维数据分析.pdf

实时运维 ELK介绍及Elascsearch调优 Medcl，2014-10-17 关于我 •  曾勇/Medcl •  m@ •  hp:// •  hp:///medcl •  hp:///medcl 出错了 App又崩了 网站打不开了 客户找上门 客户: 昨天11点12分报错了，什么情况？ 我： 不会吧？不能吧。 你再试试，我看看报错没有。。。 客户： 擦 ！ 之前的做法 •  登陆服务器： –  ssh ops@01 •  怎么看日志： –  head、tail 、grep、wc、awk、count、cut等 •  日志在哪里： –  Nginx –  Tomcat –  MySQL –  Redis –  PHP –  等等 手忙脚乱~ 搞不定了 单个日志文件上百GB ！ 先别死啊，还100 台服务器没查呢！！ 实时查看和分析 清晰直观可视化 简单，小白也能使用 统计结果 最好不用等到明天 那接下来就要问了，开源的 日志分析处理哪家强？ The ELK-Stack Elascsearch Logstash Kibana 大纲 •  ELK Introducon •  ELK@医树网 •  Elascsearch使用经验点滴 •  FAQ 基于Hadoop？ •  比较适合结构化数据 •  架构复杂，运维成高 •  非实时，适合离线任务 •  分析处理需专业人士 The ELK-Stack Elascsearch –  帮你搞定海量日志数据 •  海量存储 •  实时检索 •  实时分析 Logstash Kibana Elascsearch介 绍 •  Full Text Search Analysis Engine •  Lucene Based ，Wrien in Java •  “Distributed, (Near) Real Time, Search Engine” •  RESTful，JSON ，HTTP，Easy To Debug •  Free Schema （Dynamic Mapping） •  MulTenant （Share One Instance） •  Scalable，From One Node T