大数据的产生与发展现状研究 .pdfVIP

大数据的产生与发展现状研究

大数据的产生与发展现状研究

摘要：大数据的产生给未来信息技术带来新的机遇与挑战。大数据对数

据处理的有效性、实时性提出了更高要求，需要根据大数据的特点对当前数据处理

技术实施变革，从而形成更有益于大数据采集、存储、处理、管理、分析、共享的

新兴技术。本文从大数据的产生与发展、特征、主要应用以及大数据所带来的挑战

等方面进行阐述与分析。

关键词：大数据物联网信息处理海量计算

一、大数据的产生与发展现状

随着物联网、云计算等信息技术的飞速发展，大数据技术(BigData)也越

发进入人们的视线。大数据是用传统方法或工具很难处理或分析的数据信息。目

前，人们对大数据的理解还不够全面和深入，关于大数据的含义也没有一个统一的

定义。亚马逊大数据科学家JohnRauser认为：大数据是超过任何一台计算机处理

能力的庞大数据量。Informatica的中国区首席顾问但彬指出：大数据是海量数据

与复杂类型的数据的结合。而维基百科则把大数据定义成诸多大而复杂的、难以用

当前数据库处理的数据集合。

大数据研究受到国内外学术界和工业界的广泛关注，已成为当今信息时代

全世界讨论的热点。2008年，Nature杂志就推出大数据专刊，计算社区联盟也在

同一年发表了报告《Bigdatacomputing;Creatingrevolutionary

breakthroughsincommerce，scienceandsociety》，报告阐述了解决大数据

问题所需的关键技术以及所面临的挑战。美国奥x政府于2012年3月在白宫网站

发布了《大数据研究和发展倡议》，提出了通过收集、处理海量、复杂的数据信

息，从而提升能力，加快科学和工程领域的创新步伐，转变学习教育模式，强化美

国本土的安全”。2011年1月，微软公司同惠普公司合作开发了一系列能够提升

生产力，同时提高决策速度的设备。此外，欧盟委员会也提出驾驳大数据浪潮的战

略思路，日本发布的《面向2020的ICT综合战略》也提出需要构造大量丰富的

数据基础。

近年来，我国也积极开展对大数据的研究。2011年10月，工信部确认京

沪深杭等5城市为“云计算中心”试点城市。2012年6月，中国计算机学会青年

计算机科技论坛也举办了“大数据时代，智谋未来”学术报告研讨会。大数据及其

科学研究方法涉及应用领域很广，并将与国计民生密切相关的科学决策、金融工程

以及知识经济领域紧紧接合。

二、大数据的特点

目前，企业界和学术界都一致认为，大数据具有4个“V”特征，即：容

量(Volume)、种类(Variety)、速度(Velocity)和至关重要的价值(Value)。

(1)容量(Volume)巨大。海量的数据集从TB级别提升到PB级别。

(2)种类(Variety)繁多。大数据数据源有多种，数据格式和种类不同于

以前所规定的结构化数据范畴。

(3)价值(Value)密度低。如视频的例子，在不间断连续监控的过程中，可

能有意义的数据仅有一两秒。

(4)速度(Velocity)快。包含大量实时、在线数据处理分析的需求1秒钟

定律。

三、大数据应用的领域

大数据产业的发展将推动全球经济由粗放型向集约型转变，这将对提升企

业整体竞争力和政府监管能力具有意义深远的影响。

商业作为大数据的重要应用领域。沃尔玛公司通过对消费者购物行为等一

系列非结构化数据的分析，了解不同顾客的购物习惯，公司从所销售的数据进行分

析，从而选出适合在一起搭配出售的商品;淘宝也针对买家开设了大数据平台，为

客户量身打造了一整套完善的网购体验产品。

大数据在金融业也起到了至关重要的作用。美国Equifax公司利用大数据

技术，通过对其的数据库中与财务有关的记录海量信息进行索引处理和交叉分享，

从而得到客户的个人信用等级，以推断出客户的支付需求与能力。

随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展。2010

年，中国公布的《十二五规划》指出：要重点建设国家级、省级和地市级三级医疗

卫生信息平台，建设电子病历和电子档案两个最为基础的数据库。各级医院也将在

医疗信