基于Flume海量日志统一分析平台计算机信息管理自学考试.doc

中南大学 高等教育自学考试毕业论文 论文题目：基于Flume的海量日志统一分析平台 报考专业：计算机信息管理（本） 考生姓名： 考 籍 号： 工作单位： 通讯地址及邮政编码： 联系电话： 手机： 电子邮箱 （Email）： 2017年3月8日 目 录 1 引言 1 1．1 课题背景及意义 1 1．2 研究现状 2 1．3日志收集系统的发展趋势 2 1．4课题研究内容 4 1．5论文组织结构 4 2 Flume等技术介绍 4 2．1 Flume框架介绍 4 2．2 Kafka架构介绍 8 2．3 Storm架构介绍 9 2．4 ElasticSearch架构介绍 10 3 日志分析平台需求分析 11 3．1 日志分析平台设计目标 11 3．2日志分析平台需求 11 3．2．1日志采集模块Flume Agent的功能需求 12 3．2．2日志收集模块Flume Server的功能需求 12 3．2．3 日志统计模块Storm的功能需求 12 3．3日志分析平台运行环境需求 12 3．4本章小结 12 4 统一日志平台总体架构设计 13 4．1本章小结 13 5 统一日志平台具体实现 13 5．1 日志采集模块Flume Client的实现 14 5．1.1日志采集模块Flume Agent的具体实现 14 5．1.2日志采集模块Flume Agent的目录监控具体实现 14 5．1.3日志采集模块Flume Agent的数据保护机制 15 5．1.4日志采集模块Flume Agent与Flume Server的数据交互 16 5．1.5日志采集模块Flume Client配置项 17 5．1.6日志采集模块Flume Agent的读取Kafka内容具体实现 18 5．2 日志采集模块Flume Server的实现 20 5．2.1日志采集模块Flume Server日志归集实现 20 5．2.2日志采集模块Flume Server配置项 21 6 统一日志平台集成测试 22 结论 26 致谢 27 参考文献 28 摘 要 近年来，随着互联网信息技术的迅速发展，互联网上的日志信息资源已经达到海量级别，日志中包含了用户所有的规律信息，能够更加了解用户需求，为企业带来价值，以及包含业务链路数据，运维人员通过日志进行故障定位，以及故障分析，以及性能调优等工作，以及可以通过日志收集到KPI数据进行应用考核等。随着云计算、PaaS平台的普及，虚拟化、容器化等技术的应用，例如Docker等技术，越来越多的服务会部署在云端。通常，我们需要需要获取日志，来进行监控、分析、预测、统计等工作，但是云端的服务不是物理的固定资源，日志获取的难度增加了，但这又是工程师迫切需要的。，因此，如何应对海量并且分散的日志进行收集统计并且分析，已经成为目前大部分企业都特别关注的一个课题。 本文针对分布式环境下，通过Flume收集海量日志，进行ElasticSearch存储，Kibana可视化展示，Storm进行数据分析。 关键词 海量日志;Flume;ElasticSearch;kibana;Storm 引言 1．1 课题背景及意义 近年来，随着互联网信息技术的迅速发展，互联网上的信息资源已经达到海量级别，每天需要处理的日志信息巨大，日志中包含了用户所有的规律信息，能够更加了解用户需求，为企业带来价值，以及包含业务链路数据，运维人员通过日志进行故障定位，以及故障分析，以及性能调优等工作，以及可以通过日志收集到KPI数据进行应用考核等。随着云计算、PaaS平台的普及，虚拟化、容器化等技术的应用，例如Docker等技术，越来越多的服务会部署在云端。通常，我们需要需要获取日志，来进行监控、分析、预测、统计等工作，但是云端的服务不是物理的固定资源，日志获取的难度增加了，以往可以SSH登陆的或者FTP获取的，现在可不那么容易获得，但这又是工程师迫切需要的，最典型的场景便是：上线过程中，一切都在GUI化的PaaS平台点点鼠标完成，但是我们需要结合tail -F、grep等命令来观察日志，判断是否上线成功。当然这是一种情况，完善的PaaS平台会为我们完成这个工作，但是还有非常多的ad-hoc的需求，PaaS平台无法满足我们，我们需要日志，因此，如何应对海量并且分散的日志进行收集统计并且分析，已经成为目前大部分企业都特别关注的一个课题。 一般的数据挖掘是针对关系型数据库中结构化数据进行的分析。而如今日志数据杂乱无章，务结构，有中间件日志，有应用日志，有组件日志，应用日志因项目架构标准化不一而没有标准化，而且数据量还非常大，呈指数级不断增长，分布在非常多的服务器或者节点上，这就导致了数据挖掘需要用到新的挖掘技术，以及模型算法等，从需