大数据技术进展与发展计划趋势_图文.pdfVIP

大数据技术进展与发展计划趋势_图文--第1页

大数据技术进展与发展趋势

在大数据时代，人们迫切希望在由普通机器组成的大规模集

群上实现高性能的以机器学习算法为核心的数据分析，为实际业

务提供服务和指导，进而实现数据的最终变现。与传统的在线联

机分析处理OLAP不同，对大数据的深度分析主要基于大规模的

机器学习技术，一般而言，机器学习模型的训练过程可以归结为

最优化定义于大规模训练数据上的目标函数并且通过一个循环迭

代的算法实现，如图4所示。因而与传统的OLAP相比较，基

于机器学习的大数据分析具有自己独特的特点[24]。图4基于机

器学习的大数据分析算法目标函数和迭代优化过程（1）迭代

性：由于用于优化问题通常没有闭式解，因而对模型参数确定并

非一次能够完成，需要循环迭代多次逐步逼近最优值点。（2）

容错性：机器学习的算法设计和模型评价容忍非最优值点的存

在，同时多次迭代的特性也允许在循环的过程中产生一些错误，

模型的最终收敛不受影响。（3）参数收敛的非均匀性：模型中

一些参数经过少数几轮迭代后便不再改变，而有些参数则需要很

长时间才能达到收敛。这些特点决定了理想的大数据分析系统的

设计和其他计算系统的设计有很大不同，直接应用传统的分布式

计算系统应用于大数据分析，很大比例的资源都浪费在通信、等

待、协调等非有效的计算上。传统的分布式

计算框架MPI（messagepassinginterface,信息传递接口）[25]

大数据技术进展与发展计划趋势_图文--第1页

大数据技术进展与发展计划趋势_图文--第2页

虽然编程接口灵活功能强大，但由于编程接口复杂且对容错性支

持不高,无法支撑在大规模数据上的复杂操作,研究人员转而开发

了一系列接口简单容错性强的分布式计算框架服务于大数据分析

算法,以MapReduce[7]、Spark[8]和参数

服务器ParameterServer[26]等为代表。分布式计算框架

MapReduce[7]将对数据的处理归结为Map和Reduce两大类操

作,从而简化了编程接口并且提高了系统的容错性。但是

MapReduce受制于过于简化的数据操作抽象,而且不支持循环迭

代,因而对复杂的机器学习算法支持较差,基于MapReduce的分布

式机器学习库Mahout需要将迭代运算分解为多个连续的Map和

Reduce操作,通过读写HDFS文件方式将上一轮次循环的运算结

果传入下一轮完成数据交换。在此过程中,大量的训练时间被用于

磁盘的读写操作,训练效率非常低效。为了解决MapReduce上

述问题,Spark[8]基于RDD定义了包括Map和Reduce在内的

更加丰富的数据操作接口。不同于MapReduce的是Job中间输

出和结果可以保存在内存中,从而不再需要读写HDFS,这些特性

使得Spark能更好地适用于数据挖掘与机器学习等需要迭代的大

数据分析算法。基于Spark实现的机器学习算法库MLLIB已经显

示出了其相对于Mahout的优势,在实际应用系统中得到了广泛的

使用。近年来,随着待分析数据规模的迅速扩张，分析模型参数也

快速增长，对已有的大数据分析模式提出了挑战。例如在大规模

话题模型LDA中，人们期望训