【资料分享】大数据白皮书-大数据文档资料.docx

大数据白皮书

（2014年）

工业和信息化部电信研究院2014年5月

版权声明

本白皮书版权属于工业和信息化部电信研究院，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：工业和信息化部电信研究院”。违反上述声明者，本院将追究其相关法律责任。

前言

当前，全球大数据产业日趋活跃，技术演进和应用创新加速发展，

各国政府也逐渐认识到大数据在推动经济发展、改善公共服务，乃至

保障国家安全方面的重大意义，纷纷积极出手推动。在全球大数据蓬

勃发展的大背景下，我国也面临难得的发展机遇。如何抓住机遇，将

我国拥有的数据资源转化为经济发展动力，是摆在政府和产业界面前

的紧迫课题。

本白皮书首先追溯了大数据的起源，从新资源、新工具和新理念

等角度探讨了大数据的概念；然后对大数据关键技术、应用、产业和

政策环境等核心要素进行了分析，梳理提出了大数据技术体系和创新

特点，简要描述了大数据应用及产业生态发展状况，分析了各国大数

据政策实践及我国大数据发展的政策环境；最后针对我国大数据发展

存在的问题，提出推动大数据应用、促进前沿技术创新与扩散、开放

政府和公共数据资源、保护数据安全与个人隐私等方面的策略建议。

目录

一、大数据概念探讨 1

二、大数据关键技术 2

(一)大数据对传统数据处理技术体系提出挑战 2

(二)大数据存储、计算和分析技术是关键 4

(三)大数据技术创新呈现“原创-开源-产品化”的阶梯格局 9

三、大数据应用发展 11

(一)互联网行业是大数据应用的领跑者 11

(二)大数据应用加速向传统领域拓展 12

(三)大数据应用呈现初级发展阶段特征 13

四、大数据产业生态 16

(一)传统IT厂商加快向大数据解决方案提供商转型 16

(二)云服务商成为大数据处理服务提供商的主体 17

(三)大数据资源提供商应运而生 18

五、大数据政策环境 20

(一)国外政府从数据、技术和应用三方面推进大数据发展 20

(二)我国大数据发展环境持续完善 22

六、问题与政策思考 23

(一)我国大数据发展面临的问题 23

(二)推动我国大数据产业发展的对策思考 25

工业和信息化部电信研究院大数据白皮书（2014）

1

一、大数据概念探讨

大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿1，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库2，开始提供较为精确的有哪些信誉好的足球投注网站服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时有哪些信誉好的足球投注网站引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统(GFS，GoogleFileSystem)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。

伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。

虽然大数据已经成为全社会热议的话题，但到目前为止，“大数据”尚无公认的统一定义。我们认为，认识大数据，要把握“资源、

1来源：/articles/ad-anorexia/

2来源：/about/company/history/，2008年7月谷歌有哪些信誉好的足球投注网站引擎能检索的网页数就突破1万亿个。

大数据白皮书（2014）工业和信息化部电信研究院

2

技术、应用”三个层次。大数据是具有体量大、结构多样、时效强等

特征的数据；处理大数据需采用新型计算架构和智能算法等新技术；

大数据