《大数据导论》课件——3.4.2Logstash简介.pptx

大数据导论

数据采集Logstash介绍

目录01logstash简介02logstash工作原理03logstash配置

Logstash简介Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地

Logstash工作原理Logstash的数据处理过程主要包括：Inputs（输入）,Filters（过滤）,Outputs（输出）三部分，均以插件形式存在，用户通过定义pipeline配置文件，设置需要使用的input，filter，output插件，以实现特定的数据采集，数据处理，数据输出等功能（1）Inputs：用于从数据源获取数据，常见的插件如file,syslog,redis,beats等（2）Filters：用于处理数据如格式转换，数据派生等，常见的插件如grok,mutate,drop,clone,geoip等（3）Outputs：用于数据输出，常见的插件如elastcisearch，file,graphite,statsd等

Logstash工作原理输入：采集各种来源的数据数据往往以各种各样的形式，或分散或集中地存在于各个系统中。Logstash支持各种输入选择，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web应用、数据存储以及各种AWS服务采集数据。

Logstash工作原理筛选：实时解析和转换数据数据从源传输到存储库的过程中，Logstash过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。Logstash能够动态地转换和解析数据，不受格式或复杂度的影响。如：利用Grok从非结构化数据中派生出结构从IP地址破译出地理坐标将PII数据匿名化，完全排除敏感字段简化整体处理，不受数据源、格式或架构的影响

Logstash工作原理输出:选择存储库，导出数据Logstash提供众多输出选择，可以将数据发送到要指定的地方，并且能够灵活地解锁众多下游用例。支持的输出端见官网的列表：

Logstash配置logstash的配置文件是以conf作为后缀名主要由三部分组成。1、input：用于配置输入源列表，支持多条输入源配置2、filter：用于配置对数据源的数据进行筛选和处理3、output：用于配置对经过处理后的数据，传输或者保存到输出端信息不同的输入输出源，配置的参数不同，详见官网列表#输入input{ ...}#过滤器filter{ ...}#输出output{ ...}

Logstash配置输入源配置示例filebeat作为输入源

Logstash配置输出端配置示例mysql数据库作为输出端

谢谢观看