大数据：科学研究第四范式演化中的新热点-基于文献综述角度的分析.docx

??

?

??

大数据

科学研究第四范式演化中的新热点

基于文献综述角度的分析

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

张慧蕊

（葫芦岛市图书馆，辽宁葫芦岛125000）

关键词：大数据；科学研究；挑战；趋势

摘要：文章对有关大数据方面的研究做简要综述，对大数据的理论研究、大数据的应用研究、大数据时代面临的挑战和发展趋势这4个方面进行简要分析。

中图分类号：G250文献标识码：A文章编号：1003-1588（2015）05-0095-03

收稿日期：2015-03-23

作者简介：张慧蕊（1973—），葫芦岛市图书馆副研究馆员。近年来，高度连接的世界和迅速扩张的社交媒体使得数据产生的范围、方式、途径发生了翻天覆地的变化，其组成结构、类型格式、存在形态等都愈加复杂，全球进入到一个以数据驱动社会创新、经济增长的大数据时代。大数据时代，人类在实践中逐渐意识到数据的重要性，并通过对数据的进一步采集、存储、整合、分析、利用发现新的知识、创造新的价值，为社会带来全新的发展机遇。目前，大数据作为一项新兴的信息技术，受到了大型企业、信息服务机构乃至政府的高度重视，其带来了一场知识革命，庞大的数据量将对各个领域产生巨大影响。因此，大数据成为一个至关重要的课题，吸引了大量学者对其进行深入研究，笔者在查阅国内外相关文献的基础上，对大数据的理论研究、大数据的应用研究、大数据时代面临的挑战进行了综合分析，以期展望未来大数据的发展趋势。1大数据的理论研究由于“大数据”一词是近几年才提出的，因此理论研究是学术界研究的热点，其包括大数据的内涵、技术等方面。

1.1大数据的内涵

1.1.1定义。大数据作为新出现的名词，尚未有一个标准的定义，人们对大数据的理解也各不相同。全球知名咨询机构麦肯锡公司在其发布的研究报告中对大数据作了如下定义：其大小超越了典型数据库软件的采集、存储、管理以及分析等能力的数据集。李国杰院士及程学旗教授认为，大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合［1］。学者韩翠峰则认为，大数据是存储在数据库中的结构化数据以及由图片、音视频、电子邮件、社交网络等产生的半结构化数据与非结构化数据的总和［2］。笔者通过对比分析发现，大数据并非单纯指数据量的大小，而是指在体量浩大、模态繁多的数据中能快速获取有价值的信息。

1.1.2特点。大数据是指无法用现有的软件工具提取、存储、有哪些信誉好的足球投注网站、共享、分析、处理的海量且复杂的数据集合。业界通常用“4V”来描述其特征：①数据体量巨大（Volume）。随着科学技术的进步与发展，数据集合的规模不断扩大，已由TB级升至PB级。②数据种类繁多（Variety）。目前，数据类型愈发多样，非结构化数据越来越多，如微博微信、图片视频、地理位置信息等，这对数据处理能力提出了更高要求。③处理速度快（Velocity）。随着移动网络的发展，人们对数据的实时应用需求变得更为普遍，因为一些数据具有很强的时效性，所以需要快速处理，这是其区别于传统数据挖掘的最显著特征。④价值密度低（Value）。数据的价值巨大，但囿于传统的思维方式与技术方法，其价值密度却与数据总量成反比。NetApp指出，大数据主要包括3大要素：大分析，通过对巨大数据集合的实时分析，帮助用户获取新的价值；高带宽，达到更快的数据处理速度；多内容，能轻松实现数据的恢复、备份、复制与管理，在不丢失任何信息的情况下实现高扩展性［3］。WakefieldResearch在2012年的大数据研究中揭示了大数据的3个特点和现状。首先，大数据已经到达了一个临界点，数据已变得普遍，现在其已是大家的事务。其次，大数据在开创领导者工作议程的价值上已经达到了一个顶点。最后，关键业务功能不充分地支持数据为它许诺的价值，挣扎于庞大的体积和安全问题中，公司开始重新考虑他们的数据战略。

1.2大数据的技术大数据技术是近年来备受关注的一个热点，是指从各种各样类型的数据中，快速获得有价值信息的能力。随着互联网的迅猛发展，数据量的增长速度越来越快，传统技术已无法满足人们对大数据的处理需要，很多研究者开始关注与大数据分析相关的技术。

1.2.1云计算。中国人民大学孟小峰教授认为，大数据的关键技术主要涉及云计算和大数据分析工具［4］。云计算是大数据的基础平台，正是有了云计算技术在数据存储、数据管理以及数据分析等方面的支撑，大数据才得以广泛应用。云计算技术中主要涉及文件系统、数据库系统、检索与查询技术、数据分析技术等。

1.2.2大数据分析工具。目前被广泛关注和应用的分布式系统基础架构Hadoop已经发展成为包括文件系统（HDFS）、数据库（Hbase、Cassandra）、数据处理（MapReuce）等功能模块在内的完整