曾勇-实时运维数据解释.pdf

实时运维数据分析 ELK介绍及Elascsearch调优 ? Medcl，2014-10--‐17 关于我 ?? 曾勇/Medcl ? ?? m@ ? ?? h;p:// ? ?? h;p:///medcl ? ?? h;p:///medcl ? 出错了 App又崩了 ? 网站打不开了 ? 客户找上门 客户: ? ? ? 昨天11点12分报错了，什么情况？ ? 我： ? ? 不会吧？不能吧。 ? ?你再试试，我看看报错没有。。。 ? 客户： ? ?擦！ ? ? ? 之前的做法 ?? 登陆服务器： ? –? ssh ?ops@01 ? ?? 怎么看日志： ? –? head、tail、grep、wc、awk、count、cut等 ? ?? 日志在哪里： ? –? Nginx ? –? Tomcat ? –? MySQL ? –? Redis ? –? PHP ? –? 等等 手忙脚乱~ 搞不定了 ? 单个日志文件上百GB！ ? 先别死啊，还100 台服务器没查呢！！ ? ? ? 实时查看和分析 ? ? ? ? 清晰直观可视化 ? ? ? 简单，小白也能使用 ? 统计结果 ? 最好不用等到明天 那接下来就要问了，开源的 日志分析处理哪家强？ The ?ELK--‐Stack Elascsearch ? Logstash ? Kibana ? 大纲 ? ?? ELK ?Introducon ? ?? ELK@医树网 ? ?? Elascsearch使用经验点滴 ? ?? FAQ 基于Hadoop？ ?? 比较适合结构化数据 ? ?? 架构复杂，运维成本高 ? ?? 非实时，适合离线任务 ? ?? 分析处理需专业人士 ? The ?ELK--‐Stack Elas)csearch ? –? 帮你搞定海量日志数据 ? ?? 海量存储 ? ?? 实时检索 ? ?? 实时分析 ? Logstash ? Kibana ? Elascsearch介绍 ?? Full ?Text ?Search ? ?Analysis ?Engine ? ?? Lucene ?Based，Wri;en ?in ?Java ? ?? “Distributed, ?(Near) ?Real ?Time, ?Search ?Engine” ? ?? RESTful，JSON，HTTP，Easy ?To ?Debug ? ?? Free ?Schema（Dynamic ?Mapping） ? ?? MulTenant（Share ?One ?Instance） ? ?? Scalable，From ?One ?Node ?To ?One ?Thousand ?Node ? ?? High ?Availability ? ?? Rich ?Search ?Features ? ?? Good ?Extensibility（via ?Plugin） ? ?? Open ?Source（Apache ?2.0） ? ?? Created ?by ?Shay ?Bannon（Kimchy） 我与elascsearch ?? 2010年接触elascsearch ? ?? elascsearch第一个.net客户端：ElascSearch.Net ? ?? elascsearch中文社区发起人 ? ?? 写过一堆elascsearch插件 ? –? elascsearch--‐analysis--‐ik ? –? elascsearch--‐analysis--‐mmseg ? –? elascsearch--‐analysis--‐string2int ? –? elascsearch--‐analysis--‐stconvert ? –? elascsearch--‐river--‐email ? –? elascsearch--‐analysis--‐pinyin ? –? elascsearch--‐paralupdate ? –? elascsearch--‐filter--‐redis ? –? elascsearch--‐c