基于大数据平台的自动化运维及监控技术探讨.docx

?

?

基于大数据平台的自动化运维及监控技术探讨

?

?

摘要：如今，我国正处于大数据技术飞速发展的信息时代，计算机技术也成功步入智能化时代，同时，随着大量服务器的涌现，导致海量数据产生，这给信息处理系统的工作人员带来了极大的工作负担，同时传统的信息系统也无法再继续满足海量数据的处理需求。因此，为了相应数据市场的变化去求，大数据平台的诞生势在必行。

关键词：大数据平台；自动化运维；监控技术

前言

大数据自动化运维平台，是我国科学技术和信息技术飞速发展，大量网络数据不断产生而诞生的信息处理产物。由于大数据已成为当今时代各大企业发展的重要因素，因而对海量数据进行处理分析，在海量数据中收集具有有效价值的相关数据成为了各大企业最为关注的重点之一，而大数据自动化运维系统则能够有效满足各大企业对海量数据处理分析的相关需求，不仅能够有效提高各大企业运营效率，还能进一步增强企业的运营安全性，这对有效推动企业高效稳步发展具有重大意义[1]。

1大数据平台运维体系

在大数据背景下的自动化运维平台，是结合多元化的手段、方法、技术、流程、制度以及文档等对相应软件进行系统、运营环境以及相关人员等众多资源进行自动化管理的新型管理模式。大数据背景下的平台与传统概念的信息系统在工作侧重点上有着巨大的差异，具体从以下几个方面体现。

1.1平台架构

分布式调任务、部署工具、分布式文件系统、分布式数据库、计算机引擎、资源管理器、作业调度以及数据仓库等都是大数据平台自动化运维体系的基本架构，主要是通过使用PC端服务器搭建处一个大数据集群，以便于拓展、搭建以及维护大数据背景下的相关集群，并通过科学合理的相关设置，将多元化的方法、手段、技术、流程、制度以及文档等组织服务安排到各大服务器上，以此来起到响应众多服务器的相关信息要求的目的。

1.2平台运维任务

大数据自动化运维平台，主要是通过大量的服务器集群所构建而成的，而传统的信息系统则是由一台或者几台服务器所构建而成。但随着科学技术和模拟技术的逐渐完善和大范围运用，各大服务器大量涌现，传统的信息处理系统已然无法满足当前信息市场的相关需求，从而导致了大数据自动化运维平台的研发诞生。相较于传统信息系统，大数据自动化运维平台的完成效率明显高于传统信息系统[2]。例如在运行过程中，若有相关设备出现异常故障，对于传统信息系统而言，这无疑是一种致命的打击，会直接影响信息系统的正常运作，导致信息系统中的磁盘损坏或者是直接导致服务器损坏，必须立即采取长时间的停运抢救措施，这会严重影响用户在服务器上的体验，降低用户的体验感受，最终出现用户大量流失，影响经济收益。而大数据自动化运维平台，若是磁盘或者服务器出现损坏，并不会影响该平台的正常运行，同时还能够达到及时发现和反馈故障设备，通过维修更换来保障平台的顺利运用。

1.3运维团队构建

组建团队构建，是大数据自动化运维平台最为基础也是最为重要的工作重点，相关的团队人员需要具备超高的综合素养、专业运维技术技能以及良好的实践动手操作能力。大数据自动化运维平台的团队人员，主要是由团队负责人、硬件安装维护人、平台架构师以及软件技术开发人组成，其中软件维护人员主要负责整个平台软件的安装与维护，架构师则主要负责整个平台的软件运营环境，每个组员都对整个平台具有极为重要的意义，缺一不可[3]。

2大数据平台涉及的相关技术

大数据自动化运维平台由于拥有可以同时相应成百上千各服务器信息需求的作用，就需要对海量数据进行有关的分析和处理，从而在海量数据中进一步挖掘并向服务器提供有价值的信息因素，在这一运作过程中，通过自动化运维平台的监控技术可以有效地提高工作效率，并能达到极高的有效性[4]。对于大数据自动化运维平台的监控技术主要涉及以下几个技术层面，具体内容如下所示。

2.1体系架构

随着我国科学技术的飞速发展和运用，市场经济的发展也格外迅猛，大数据运维平台在各大互联网行业中的应用也越加广泛。大数据运维平台能够同时对众多服务器的数据和信息进行追踪、分析和处理，将所有数据中有价值的信息分析剥离出来，这对有效提高服务器中相关数据的利用价值具有重大意义。

2.2数据建构与存储

在众多服务器中，每天都会有海量的数据需要进行分析处理，而在这些海量数据中，具有使用价值的数据其实只占很小一部分，因此，大数据自动化运维系统在处理和分析这些数据时，就需要对这些数据建模并找到数据与数据之间的相关规律，并运用数据网络对所有数据进行分析和处理。关于数据建模，需要对所采集的相关数据进行特征寻找，并利用数学统一归纳思想血对数据进行相关处理，并进行科学合理的综合分析及处理，以此来建构整体数据的数据建模模型。在对数据进行处理的过程中，需要有效协调各类数据的相关内容，并收集和关注数据中所蕴含的有效价值以及数据特点中是否具有全局性[5]。如此一