基于elk的packetbeat和watcher数据监控v10.doc

ElasticSearch特点ElasticSearch 是一个基于Apache Lucene的开源数据搜 索引擎，它的 特点有： ?实时：可以进行实时的数据有哪些信誉好的足球投注网站和分析 ?分布式：分布式文件存储，并将每个字段都编入索引 ?RESTful API：对外提供一系列基于JAVA和HTTP的API，用于索引、查 询、修改大多数配置 ?JSON：输入输出格式为JSON，快捷方便 ?多租户：可根据不同用途分索引，同时操作多个索引ElasticSearch使用案例?维基百科使用 Elasticsearch 来进行全文有哪些信誉好的足球投注网站并高亮显示关键词，以及提供 search-as-you-type、did-you-mean等有哪些信誉好的足球投注网站建议功能。 ?英国卫报使用 Elasticsearch 来处理访客日志，以便能将公众对不同文章的 反应实时地反馈给各位编辑。 ?StackOverflow 将全文有哪些信誉好的足球投注网站与地理位置和相关信息进行结合，以提供morelike-this相关问题的展现。 ?GitHub 使用 Elasticsearch 来检索超过1300亿行代码。 ?每天，Goldman Sachs 使用它来处理5TB数据的索引，还有很多投行使用 它来分析股票市场的变动。ElasticSearch安装ES的安装很简单，可参考官网 https://www.elastic.co/guide/en/elasticsearch/reference/c urrent/_installation.html 服务启动后测试下是否运行正常：ElasticSearch插件安装ES插件，来查看集群状态、查看数据信息等。 head插件： elasticsearch/bin# ./plugin install mobz/elasticsearch-head Kopf插件： elasticsearch/bin# ./plugin install lmenezes/elasticsearch-kopfLogstrash简介Logstash是一个接收，处理，转发日志的工具，由Jruby语言编写，并运行在Java 虚拟机上。 在Logstrash的生态系统中主要分为4大组件： ?Shipper：日志收集者。负责监控本地日志文件的变化，及时把日志文件的必威体育精装版 内容收集起来，输出到Redis暂存。 ?Broker and Indexer：接受并索引化事件 ?Search and Storage：允许对时间进行有哪些信誉好的足球投注网站和存储 ?Web Interface：基于WEB的展示页面Logstrash简介Logstash使用管道方式进行日志的搜集处理和输出。主要做3件事： ?Collect：数据输入 ?Enrich：数据加工，如过滤，改写等 ?Transport：数据输出Kibana介绍Kibana 是一个使用 Apache 开源协议，基于浏览器的 Elasticsearch 分析和有哪些信誉好的足球投注网站仪 表板。Kibana安装配置Kibana安装比较简单，可参考官网https://www.elastic.co/downloads/kibana默认情况下，Kibana 会连接运行在 localhost 的 Elasticsearch。要连接其他 Elasticsearch 实例，修改kibana.yml 里的 Elasticsearch URL，然后重启 Kibana。 从 Kibana 访问 Elasticsearch 索引的配置方法1.配置包含时间戳的索引：可以 用来做基于时间的处理 2.索引定期生成且索引名中包含 时间戳：提高有哪些信誉好的足球投注网站性能，Kibana 会至有哪些信誉好的足球投注网站你指定的时间范围内的 索引。Kibana-Discover在 Discover 页交互式探索数据。你可以访问到所匹配的索引模式的每个索引的每 条记录。你可以提交过滤有哪些信誉好的足球投注网站请求，然后查看文档数 据。你还可以看到匹配搜 索请求的文档总数，获取字段值的统计情况。如果索引模式配置了时间字段，文 档的时序分布情况会在页面顶部以柱状图的形式展示出来。Kibana-Discover在 Discover 页提交一个有哪些信誉好的足球投注网站，你就可以有哪些信誉好的足球投注网站匹配当前索引模式的索引数据了。 可以直接输入简单的请求字符串，也就是用 Lucene query syntax，也可以用完整 的基于 JSON 的 Elasticsearch Query DSL。 ?简单文本有哪些信誉好的足球投注网站：直接输入文本字符串 ?有哪些信誉好的足球投注网站特定字段中的值：格式：字段名:值 ?有哪些信誉好的足球投注网站值的范围：格式：字段名:【start_value TO end_value】 ?指定复杂有哪些信誉好的足球投注网站标准：使用布尔操作符 AND，OR，NOTkibana-Visualize你可以用 Visualize 页来设计可视化。可以保存可视化或