基于大数据的信息系统运维辅助平台 .pdfVIP

基于大数据的信息系统运维辅助平台

摘要：随着企业规模不断扩大，现代大型企业中信息化程度不断提升，由此产

生的信息系统运维工作量也在快速增加。同时，现代信息化技术日新月异，对于

运维人员工作水平和强度要求日渐增强，因此开展基于大数据技术的信息系统运

维辅助平台成为了必要需求。

关键词：大数据；运维；智能分析；辅助决策

研究背景1

大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管

理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和

流程优化能力的海量、高增长率和多样化的信息资产。

与传统规模的数据工程相比，大数据的感知、获取、存储、表示、处理和服

务都面临着巨大的挑战。这归因于大数据具有几个突出的特征：

）数据集合的规模不断扩大，1已经从GB、TB再到PB，甚至已经开始以EB

和ZB来计数。

）大数据2类型繁多，包括结构化数据、半结构化数据和非结构化数据。现代

互联网应用呈现出非结构化数据大幅增长的特点，至2012年末，非结构化数据

占有比例达到整个数据量的75%以上。

3）产生速度快，处理能力要求高。根据IDC的“数字宇宙（DigitalUniverse）”

报告，预计到2020年，全球数据使用量将达到35.2ZB。

）数据4真伪难辨，可靠性要求更严格。大数据的集合和高密度的测量将令

错误“发现”的风险增长。

）数据5价值大，但密度低、挖掘难度大。价值密度的高低与数据总量的大小

成反比。

随着企业信息技术水平不断提高，信息系统应用越来越广泛，信息设备数量

急剧增加，信息系统应急处置工作复杂度也与日俱增。为保证生产系统安全稳定

运行，信息系统应急处置工作中要求运维人员能够快速、准确、有效地进行应急

处置，因此计划实现一个基于大数据技术的运维辅助平台系统。

大数据2相关技术

大数据的2.1复杂性和计算模型

针对大数据的计算理论和算法的研究目前主要集中在大数据机器学习的基础

理论、参数估计方法、优化算法等方面，形成的一系列成果为大数据高效计算提

供了理论支持。普林斯顿大学的Blei等人针对大规模网络文本数据的主题建模，

提出了在线学习算法，为大数据下非参数模型的高效估计奠定基础。斯坦福大学

的Mahoney提出了随机算法实现快速矩阵近似分解，并给出了近似值和真实值差

距的理论边界。法鲁托斯等人提出了大规模张量分析方法，可以比原算法速度提

高两个数量级。美国加州大学伯克利分校Jordan等人开展了大数据分析的理论基

础研究，目前已有的成果包括分布式优化算法和大数据非参数估计方法等。

大数据的2.2感知与表示

为了有效利用网络大数据，需要将异构、低质量的网络数据转化为结构统一

的高质量数据，因此业界提出了一系列数据抽取算法以应对大数据的异构性，应

用经过扩展的传统数据集成技术从多个异构数据源集成数据，并开始将过去一些

数据清洗和数据质量控制方面的研究应用于网络数据质量控制。但总的来说，将

这些技术直接用于大数据处理，在数据处理的规模和得到的数据质量方面还不能

令人满意。另一方面，人们很早就认识到了动态性和时效性是大数据的重要特性，

数据流（datastream）]和时间序（timeseries）是表示和处理数据动态性和时效

性的主要技术。同样，从数据的可处理规模和功能上，传统数据流和时间序列技

术还无法满足大数据处理的需求。

大数据的内容建模与语义理解2.3

由于大数据的规模巨大、高维、异构、多源等特性，当前在大数据内容建模

方面的工作主要集中在数据的实体、类别和属性的提取与分析等方面。在语义理

解方面，语义网作为语义的核心载体，已经得到了实际应用，利用语义网研究语

义理解，也开始得到学术界的关注。通过众包的方式，借助群体智能，来分析和

理解互联网上的各种信息。

大数据的2.4存储与架构体系

大数据的架构体系研究首先需要关注的问题就是大数据如何存储。在数据存

储的基础上，为了应对大数据的快速以及高效可靠处理，需要建立大数据计算的

编程模式以及相关的优化方法。大数据存储的形式包括分布式的文件系统、分布

式的键值对存储以及分布式数据库存储。

基于大数据的3运维辅助支撑工具设计

关3.1键技术

日志信息采a