基于 Spark 大数据平台的云上用户日志行为审计系统.pdfVIP

随着大数据及云计算的快速发展，越来越多的企业将业务迁移上云，极

大地提高了效率，同时对云的审计也成为新的安全需求。与之对应的则是于

云平台版本的不断迭代，不同厂家云平台日志格式的差异，种种因素都增加

了日志审计的复杂性。现有的云审计系统多数是基于某一种云产品的标签化

日志，但实际应用中事件日志多为海量的、未标签化的日志，因此从未标签

化的海量用户日志中，发现和审计系统中的实际行为具有重要意义。本文将

基于多云上用户行为产生的大量事件日志，通过流程挖掘模型，设计一种基

于非标签化的云上用户日志的审计系统，同时在审计过程中可以根据行为追

溯到产生该行为的原始日志，形成一条完整的证据链。

1

云审计技术研究现状及主要问题

1.1云审计技术研究现状

随着云的广泛应用，越来越多的业务迁移上云，极大地提升了效率、降低

了成本。但是在使用过程中，云上的网络安全性也不容忽视。除了有一些常

用的主动措施来提高云的安全性，还需要结合被动措施来保证云的安全性，

云审计是一种常用的提高网络安全性的有效手段。云上常见的安全风险主要

包括但不限于操作者身份不明确、操作过程不透明、操作内容不可知、操作

行为不可控、操作事故无法定位等。除此之外，用户的过失和恶意操作也可

能会危害云上业务及数据的安全。随着云计算技术的高速发展，系统透明度越

来越低，用户和监管人员难以感知云上发生的违规操作，无法及时做出应对，

降低了云操作系统的整体安全性。同时，云上日志具有海量性、多样性，日志

中噪声日志占比高，有效信息分布随机等特点，无法直接对云上的日志进行

分析。这些特点也导致普通的过滤算法无法充分过滤掉噪声日志。云版本的

不断迭代，也是日志多样性的原因之一，更增加了日志处理的复杂性。此外，

几款主流云产品的日志互不相同，难以用同一套日志模型从不同云中提取有

效信息。

1.2研究需求

在云日志中，包含了系统内部的安全事件、用户访问记录、用户操作行为、

系统运行、系统状态等各类信息。通过对云日志的分析处理，能够有效地获

取云的运行状态，跟踪记录用户操作，极大地增强云的透明度和安全性。云

日志的审计分析结果，能够指导对云平台资源的合理化配置、优化系统程序、

增加防御机制、修复系统问题，提升云在运行过程中的稳定性、可靠性、安

全性、合规性。

1.3主要工作

云用户行为审计系统通过分析云的运行日志，提取用户操作行为信息，从

而记录用户操作行为，了解云的运行状态，及时发现云上发生的风险和违规

操作，进而提高云的安全性。研究设计独特的云日志处理算法，能够高效、

准确地从海量、格式不确定的原始日志中过滤掉噪声日志、提取有效信息，

将其转化为结构化的、可供大数据分析的用户操作行为数据。基于操作行为

数据，运用数据分析算法，可以对用户的操作行为进行行为审计、合规性分

析等；通过多维度展示行为数据，对于数据泄露这一类复杂流程进行设计分

析；同时还提供了数据追溯、数据完整性校验、审计策略、行为还原等功能。

2

云审计系统设计

2.1云审计系统架构

云上用户行为审计系统由云平台采集模块、数据分析模块、大数据平台模

块、门户展示模块构成。云审计的系统架构如图1所示。

图1云审计的系统架构

云平台采集模块通过代理或应用程序接口（ApplicationProgram

Interface，API），从云平台获取原始日志及云平台上的租户、用户、

资产、业务信息等元数据，将原始日志写入大数据平台模块的分布式文件系

统（HadoopDistributedFileSystem，HDFS）中，作为整个数据分析模块

的输入。大数据平台模块包括数据的存储组件和大数据处理的引擎，

存储组件为HDFS、SQL、Hbase，主要用来存储日志数据、日志模型、

资产用户元数据；大数据处理引擎为Spark、SparkStreaming，主要用来批

量处理大量数据。数据分析模块包括日志预处理、关联分析、日志结构化几个

子模块。日志预处理模块调用大数据平台的Spark服务，实现过滤、模型

提取、流程挖掘，得到日志模型。日志结构化模块调用SparkStreaming从

HDFS中读取原始日志