软件工程技术中的大数据分析.docxVIP

??

?

??

软件工程技术中的大数据分析

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

摘要：大数据与软件工程技术的发展涉及到多个领域，需要更强的专业性和实践性，面对着更多的挑战。要不断的利用数据信息采集存储和高效索引数据挖掘的技术和软件重用中间件标准化等技术，来解决巨大数据压力，大数据安全和分子提取有效数据信息的问题。只有技术结合共用才能实现大数据时代下的完善大数据技术体系。

关键词：大数据;大数据分析；大数据安全；软件工程

一、大数据与软件工程的基本概述

大数据实际上就是将人类日常生活工作中所产生的信息数字化，再将这些数据分门别类的储存起来。大数据的应用技术也很多，比如分类分析技术、自然语音处理技术、机器学习技术、遗传算法技术以及聚类分析技术等。而大数据分析是基于现代科技发展而产生的一种分析技术，其主要是依靠于现代的科技手段，尤其是一些网络技术，通过对基础数据的整理分类，通过不同的计算机算法，可以将不同有类似特征的数据分类，最终在海量的数据中得到想要的数据分析。大数据分析在互联网行业的广泛运用也引起其他行业的注意，纷纷引进其技术。

而随着社会信息化的发展，人们越来越熟悉软件工程这个概念，其实软件工程的发展历史始于上世纪六十年代，它的重点是在技术以及管理两个层面进行研究，将相关工程中引入管理工程学和系统工程学，包括软件的生命周期、设计、维护等多方面内容。因此在对软件的设计过程中要保证开发成本和质量，让其生命周期尽可能延长，满足不同工程或者是用户的需求。

二、大数据与软件工程技术

大数据技术

数据信息采集

数据信息采集对于软件工程技术来说是一个关键点，并且也是大数据技术发展的根本，它其实是对已有信息的收集，在加强软件的协作运转能力的同时，建立专门存储数据的空间存放。根据客户需求对数据预处理，包括对数据信息做细微加工，删去或者添加一些东西。之后再对数据按照一定的分类原则进行分类。

数据存储技术

数据信息的样式可以是单一的文字信息，也可以为多种多样图片视频信息等等，这就需要存储大量数据信息，但要求计算机存储能力不断提升。为了不造成数据浪费，大数据联系的信息处理技术，云技术出现在人们生活中，不仅改进硬件设施还将把更新计算机软件作为主要任务，从而加强信息数据的存储能力。

数据高效索引技术与数据挖掘技术

谷歌公司最早提出了数据高效索引并受到了广泛的关注。聚簇索引需要根据索引顺序排列存储结构，而互补聚簇索引的研究多建立在多副本索引上。这种方法的优点其一是方便了查询，其二是最重要的数据结构部分得到了各方面的提高。实时数据处理是大数据分析的一个核心需求，而以信息内容为基础的数据挖掘技术多用于网络搜集与分析，目前比较热门的是排序学习算法。

大数据与软件工程技术的发展方向

开放式发展

大数据技术的首要前提是大量的数据流，而想要技术在新时代的一代有一代的新技术下不被落下，就需要寻求开放式的发展，也就是将计算机通过网络连接互相通信，共享资源。可以增强软件等有效利用信息的能力，借助网络提高利用率，满足用户们的更多需求。

软件工程技术与其他领域的融合

软件工程技术如今在很多科学领域上都有很多应用。又因为软件工程技术可以提供极大帮助，所以从航空应用到生物应用都可以利用数据平台来搜集和分析数据。甚至在购买股票时，都可通过软件工程技术利用大数据构成数据模型，进行分析预测。

三、大数据与软件工程技术应用与挑战

巨大数据信息的压力

在当今的社会，互联网的不断发展，使得数据信息量巨大，并源源不断的产生数据。这对于数据信息处理技术在储存空间，压缩与数据传输技术上的要求更高。对于各种数据信息的分类也有很高的要求。所以，面对着人们多样化需求和检索效率的提高、甚至是信息检索能力与可视化的需求，数据挖掘技术面临着许多的挑战。

大数据安全问题

在大数据安全问题上主要有两方面问题：大数据本身的安全和利用大数据加强信息安全能力。随着数据量的增加网络黑客也越来越多，加强信息管理在这种情况下便变得更加重要，既要确保信息的安全必威体育官网网址，防止一切可能发生信息窃取、网络攻击的发生，又要确保计算机用户信息不受损失与侵害，做好网络环境监控工作，减少非法分子对计算机用户的攻击，保证数据信息更加安全。

分析提取有效数据信息的问题

大数据时代来临带来了各种各样繁复的数据，但是却没有统一的结构标准，因此传统的大数据分析技术有效利用率大大降低，也面临着各种各样的挑战。而现在许多领域的大数据需求是实时性地处理数据信息，实时性的数据所蕴含的信息，随着时间的拉长的而逐渐减少，因此如何在尽量保存数据所包含的所有信息前提下，提高软件处理信息的能力，快速有效地提取有利用价值的信息也是一个挑战。随着经济的发展与进步，软件工程作为计算机发展的产出物，包含系统平台、程序语言、软件开发等多方