Web日志；异常检测；HadoopSpark集群.docx

摘 要 PAGE V 西安交通大学本科毕业设计（论文） PAGE VI 摘 要 信息时代随着互联网技术的迅速发展，应用系统的种类越来越多，各类应用系统的规模也越来越庞大，每一秒里都会产生数量巨大、类型复杂的海量日志。这些日志包含了警告和错误等重要信息，能够直接反映系统整体的运行状况，所以合理监测并有效储存这些日志是非常重要的，日志已经逐渐成为不能被忽视的宝贵数据资源。 本文主要针对Web日志，实现了基于Spark的海量流式日志异常行为检测系统的设计与实现。系统整体架构是基于Hadoop/Spark集群，被设计为四个模块，分别是日志的收集模块、分发模块、分析模块和最关键的异常检测模块。