大数据研究与发展计划实施方案.pdfVIP

大数据研究与发展计划实施方案

大数据研究与发展计划实施方案

前言

在国家和上海市“十二五”科技发展规划及《上海市中长期科学

与技术发展规划纲要》指导下，上海市科学技术委员会通过近一年时

间的充分调研和讨论，梳理了市场和商业模式创新需求、大数据资源

和技术基础、研发能力和人才现状等。经过充分酝酿、多次征求意见，

编制本规划：

维基百科把大数据定义为一个大而复杂的、难以用现有数据库管

理工具处理的数据集。广义上，大数据有三层内涵：一是数据量巨大、

来源多样和类型多样的数据集；二是新型的数据处理和分析技术；三

是运用数据分析形成价值。大数据对科学研究、经济建设、社会发展

和文化生活等各个领域正在产生革命性的影响。为加快上海大数据研

究和产业化布局，培育数据产业，服务智慧城市，促进经济结构调整

和产业转型，特制定本计划。

一、国内外发展现状

（一）国外

发达国家启动大数据布局。2012年3月，美国政府发布《大数据

研究和发展倡议》，投资2亿美元发展大数据,用以强化国土安全、转

变教育学习模式、加速科学和工程领域的创新速度和水平；2012年7

月，日本提出以电子政府、电子医疗、防灾等为中心制定新ICT（信

息通讯技术）战略，发布“新ICT计划”，重点关注大数据研究和应

用；2013年1月,英国政府宣布将在对地观测、医疗卫生等大数据和节

能计算技术方面投资1.89亿英镑。

跨国IT企业进入大数据领域。传统数据分析企业天睿公司

（Teradata）、赛仕软件（SAS）、海波龙（Hyperion）、思爱普

（SAP）、Cognos、SPSS等在大数据技术或市场方面各占据一席之

地。谷歌、Facebook等大数据资源企业优势显现。甲骨文、IBM、微

软、SYBASE、易安信（EMC）、英特尔等企业陆续推出大数据产品

和方案抢占市场，如甲骨文公司的OracleNoSQL数据库、IBM公司

的InfoSphereBigInsights数据分析平台、微软公司WindowsAzure

上的HDInsight大数据解决方案、EMC公司的GreenplumUAP

（UnifiedAnalyticsPlatform）大数据引擎等。

大数据技术发展迅猛。数据技术从早期在单机上处理单一类型数

据，发展到当前在计算机集群上处理多类型数据，实现时间宽松的数

据分析应用。随着数据量发展到PB、EB级甚至更大，并且要求更快的

处理分析时间，大数据专用计算机、异地分布式计算机集群、多类型

多来源数据的处理和分析、数据网络等复杂结构数据的分析、秒级时

间分析等通用技术以及各种面向领域的应用技术是大数据技术的发展

趋势。以HDFS、GFS、MapReduce、Hadoop、

Storm、HBase、MongoDB为代表的一批大数据通用技术和开

源项目迅猛发展。

数据科学研究不断壮大。在大数据应用的技术需求牵引下，数据

科学研究和人才培养引起各国重视。美国哥伦比亚大学和纽约大学、

澳大利亚悉尼科技大学、日本名古屋大学、韩国釜山国立大学等纷纷

成立数据科学研究机构；美国加州大学伯克利分校和伊利诺伊大学香

槟分校、英国邓迪大学、中国香港中文大学等一大批高校开设了数据

科学课程。Facebook等著名企业开始设立数据科学家岗位。

（二）国内

政府和科研机构开始高度关注大数据。2012年12月，国家发改

委数据分析软件开发和服务列入专项指南；2013年科技部将大数据列

入973基础研究计划；2013年度国家自然基金指南中，管理学部、信

息学部和数理学部将大数据列入其中。2012年12月，广东省启动了

《广东省实施大数据战略工作方案》；北京成立“中关村大数据产业

联盟”。此外，中国科学院、复旦大学、北京航空航天大学等相继成

立了近十个从事数据科学研究的专门机构。

数据价值链和产业链初显端倪。百度、阿里巴巴、大智慧等数据

资源型和研发应用型企业初步涌现，并引领着数据产业的发展。2010

年4月，淘宝推出“数据魔方”应用，开展基于淘宝网交易数据的分

析和挖