ELK日志系统部署方案cycwll.pdf

. 概述 日志分析主要包括系统日志、 应用程序日志和安全日志。 系统运维和开发人员可以通过 日志了解服务器软硬件信息、 检查配置过程中的错误及错误发生的原因。 经常分析日志可以 了解服务器的负荷， 性能安全性，从而及时采取措施纠正错误。通常， 日志被分散的储存不 同的设备上， 依次登录每台机器查阅日志的传统方法很繁琐并且效率低下。 所以将日志集中 管理成为运维工作必不可少的手段。 开源实时日志分析框架 ELK 是当前最流行的日志管理架构之一，能够实现对日志集中 管理，并提供全文检索功能，组件 kibana 提供丰富的展示方法。 ELK 能够起到实时系统监 测、应用监测、网络监测、事件管理和发现 bug 等作用。 建设目的 为运维人员提供日志信息，实时了解操作系统、业务、数据库的运行情况。 提高解决故 障的效率，提升故障预警能力。 为开发人员排查故障提供日志查看和有哪些信誉好的足球投注网站功能。 ELK简介 ELK 是 Elasticsearch 、Logstash 、Kibana 的简称。 Elasticsearch 是实时全文有哪些信誉好的足球投注网站和分析引擎，提供搜集、分析、存储数据三大功能； 是一套开放 REST 和 Java API 等结构提供高效有哪些信誉好的足球投注网站功能，可扩展的分布式系统。它 构建于 Apache Lucene 有哪些信誉好的足球投注网站引擎库之上。 Logstash 是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志， 包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这 些来源包括 syslog 、消息传递（例如 RabbitMQ ）和 JMX ，它能够以多种方式输 出数据，包括电子邮件、 websockets 和 Elasticsearch 。 Kibana 是 一 个 基 于 Web 的 图 形 界 面 ， 用 于 搜 索 、 分 析 和 可 视 化 存 储 在 Elasticsearch 指标中的日志数据。它利用 Elasticsearch 的 REST 接口来检索数据， 不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查 询和过滤数据。 Beats ：包括 filebeat 和 packetbeat ，用来取代 logstash-forward 的轻量级日志 代理，相对于 logstash 占用系统资源少。 . . 日志类型 1、 MySQL 日志：包括 MySQL 错误、慢查询、 MySQL methods 、读写、流量。 2 、 Redis 日志： 3 、 Nginx 日志：按照固定格式输出的日志。 4 、 Tomcat 日志：按照固定格式输出的日志。 5 、 系统日志 messages ：整体系统信息，系统层错误、告警、信息等。 6 、 系统日志 secure ：验证和授权方面信息。 部署架构 由于当前日志量不大， 所以暂时没有使用 redis 或 kafka 等队列工具， 也没有使用集群。 后续可以根据实际负载情况加入缓存和集群。具体部署方案如下： 1、 使用 filebeat 收集所有服务器的 /var/log/messages 和/var/log/secure 日志，并 发送给 log