基于ELK的实时日志分析系统.pptx

基于ELK的实时日志分析系统主讲人：吴晓刚2014.02.24目录CONTENTS一：需求与挑战二：ELK日志分析方案架构三：ELK主要特性四：集群的管理与监控五：数据看板Demo需求与挑战系统无缝水平扩展接口适配方式丰富，数据拆分灵活支持多样的日志类型:IIS, vdesk , mobile, AX, Remedy, etc能满足日志量随着业务量不断增长的需要可以做多维度的实时日志分析各个日志的字段都要能够组合有哪些信誉好的足球投注网站，速度也要可以接受能做类似有哪些信誉好的足球投注网站引擎的全文索引和查询能按需对有哪些信誉好的足球投注网站结果做实时聚合计算ELK日志分析解决方案......LogStash IndexerLogStash IndexerLogStash ShipperLogStash ShipperElasticSearch – 有哪些信誉好的足球投注网站引擎Logstash – 日志搬运、拆解Kibana – 数据看板Kibana携程Ops日志系统架构Logstash - 概览数据搬运工数据加工厂Logstash – 丰富的PluginElasticSearch特性底层基于Apache Lucene实时索引, 实时分析分布式，高可用冲突管理，避免数据丢失支持全文有哪些信誉好的足球投注网站面向文档 , Schema FreeRestful API 开源，免费 (Apache 2 Open Source License)ES集群示例ES对比关系型数据库ES - Facet用户希望在任意选定的时间范围，实时获取以下信息：访问量最高的 Uagent,Client IP是哪些出现5xx , 4xx最高的URL是哪些服务器平均响应时间变化如何响应时间最慢的系统服务是哪些是否有某些IP访问频度过高从而可能是攻击行为Etc...Facet让这些需求的实现变得容易!ES – Facets 实例统计某时间段http错误日志里数量排名前7的错误代码ES – Facets 实例 有哪些信誉好的足球投注网站结果在Kibana里绘制成图表Kibana – 数据分析看板不足: 无用户权限管理无基于用户的配置管理内置看板类型有限，部分需求无法满足解决方案:通过防火墙限制访问用户IP二次开发提供用户登录和基于用户的配置管理 功能在Kibana框架内按需开发专用看板客户端集成官方提以下主流编程语言Client:JavaGroovyPHPPerlPythonRuby Python调用ES示例:ES – 集群管理与监控(现状)包和配置管理远程任务下发监控ES – 集群管理与监控(将来…)监控数据实例 – 硬件配置ES Data Nodes:4 x (8vcoreCPU + 64GB RAM + 30TB HD, Raid 5)Logstash Indexer 2 x (8vCoreCPU + 64GB RAM)Redis logstash indexer 共享服务器ES Master Nodeslogstash indexer 共享服务器监控数据实例- 数据量（截至2014/02/07)截至2014/02/07Open索引(可检索)：保留最近7天Closed索引(不可检索): 保留最近30天峰值索引日志条数: ~ 5000/秒峰值流入数据量: ~ 40Mbps监控数据实例– ES DataNode OS stats监控数据实例 – ES DataNode JVM CMS GC数据看板DemoHttp错误日志分析:/kibana//kibana/#/dashboard/elasticsearch/http%20%E9%94%99%E8%AF%AF%E6%97%A5%E5%BF%97(p/kibana/)Mobile日志分析:/kibana//kibana/#//kibana/dashboard/elasticsearch/mobileAX流量与连接数分析:/kibana//kibana/#/dashboard/elasticsearch/a10 谢谢！ 2014.02.24