大数据的发展背景和研究意义 .pdfVIP

大数据的发展背景和研究意义

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行

业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性

增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业

大数据已远远超出了现有传统的计算技术和信息系统的处理能

力，因此，寻求有效的大数据处理技术、方法和手段已经成为

现实世界的迫切需求。百度目前的总数据量已超过1000PB，

每天需要处理的网页数据达到10PB～100PB;淘宝累计的交易

数据量高达100PB;Twitter每天发布超过2亿条消息，新浪微

博每天发帖量达到8000万条;中国移动一个省的电话通联记录

数据每月可达0.5PB～1PB;一个省会城市公安局道路车辆监控

数据三年可达200亿条、总量120TB。据世界权威IT信息咨

询分析公司IDC研究报告预测：全世界数据量未来将从的

0.8ZB增长到的35ZB(1ZB=1000EB=)，将增长44倍，年均增长

40%。

早几年人们把大规模数据称为“海量数据”，但实际上，

大数据(BigData)这个概念早在就已被提出。，在Google成立

10周年之际，著名的《自然》杂志出版了一期专刊，专门讨

论未来的大数据处理相关的一系列技术问题和挑战，其中就提

出了“BigData”的概念。

随着大数据概念的普及，人们常常会问，多大的数据才叫

大数据其实，关于大数据，难以有一个非常定量的定义。维基

百科给出了一个定性的描述：大数据是指无法使用传统和常用

的软件技术和工具在一定时间内完成获取、管理和处理的数据

集。进一步，当今“大数据”一词的重点其实已经不仅在于数

据规模的定义，它更代表着信息技术发展进入了一个新的时

代，代表着爆炸性的数据信息给传统的计算技术和信息技术带

来的技术挑战和困难，代表着大数据处理所需的新的技术和方

法，也代表着大数据分析和应用所带来的新发明、新服务和新

的发展机遇。

由于大数据处理需求的迫切性和重要性，近年来大数据技

术已经在全球学术界、工业界和各国政府得到高度关注和重

视，全球掀起了一个可与20世纪代的信息高速公路相提并论

的研究热潮。美国和欧洲一些发达国家政府都从国家科技战略

层面提出了一系列的大数据技术研发计划，以推动政府机构、

重大行业、学术界和工业界对大数据技术的探索研究和应用。

早在12月，美国总统办公室下属的科学技术顾问委员会

(PCAST)和信息技术顾问委员会(PITAC)向奥巴马和国会提交了

一份《规划数字化未来》的战略报告，把大数据收集和使用的

工作提升到体现国家意志的战略高度。报告列举了5个贯穿各

个科技领域的共同挑战，而第一个最重大的挑战就是“数据”

问题。报告指出：“如何收集、保存、管理、分析、共享正在

呈指数增长的数据是我们必须面对的一个重要挑战”。报告建

议：“联邦政府的每一个机构和部门，都需要制定一个‘大数

据’的战略”。3月，美国总统奥巴马签署并发布了一个“大

数据研究发展创新计划”(BigDataRDInitiative)，由美国国

家自然基金会(NSF)、卫生健康总署(NIH)、能源部(DOE)、国

防部(DOD)等6大部门联合，投资2亿美元启动大数据技术研

发，这是美国政府继宣布“信息高速公路”计划后的又一次重

大科技发展部署。美国白宫科技政策办公室还专门支持建立了

一个大数据技术论坛，鼓励企业和组织机构间的大数据技术交

流与合作。

7月，联合国在纽约发布了一本关于大数据政务的白皮书

《大数据促发展：挑战与机遇》，全球大数据的研究和发展进

入了前所未有的高潮。这本白皮书总结了各国政府如何利用大

数据响应社会需求，指导经济运行，更好地为人民服务，并建

议成员国建立“脉搏实验室”(PulseLabs)，挖掘大数据的潜

在价值。

由于大数据技术的特点和重要性，目前国内外已经出现了

“数据科学”的概念，即数据处理技术将成为一个与计算科学

并列的新的科学领域。已故著名图灵奖获得者JimGray在的一

次演讲中提出，“数据密集型科学发现”(Data-

IntensiveScientificDiscovery)将成为科学研究的第四范

式，科学研究将从实验科学、理论科学、计算科学，发展到目

前兴起的数据科学。

为了紧跟全球大数据技术发展的浪潮，我国政府、学术界

和工业界对大数据也予以了高度的关注。央视著名“对话”节

目4月14日和21日邀请了《大数据