大数据科学问题研究.pdf

973 计划信息领域 战略调研材料之三 大数据 （Big Data）科学问题研究 李国杰 1、 前言 1.1 什么是大数据？ 大数据是指无法在一定时间内用常规软件工具对其内容进行抓 取、管理和处理的数据集合（维基百科定义） 用传统算法和数据库系统可以处理的海量数据不算“大数据”。 大数据 = “海量数据”+“复杂类型的数据” 大数据的特性包括4 个“V ”: Volume ，Variety ，Velocity ，Value 数据量大：目前一般认为PB 级以上数据看成是大数据； 种类多：包括文档、视频、图片、音频、数据库数据等； 速度快：数据生产速度很快，要求数据处理和I/O 速度很快； 价值大：对国民经济和社会发展有重大影响。 1.2 目前大数据的规模 工业革命以后，以文字为载体的信息量大约每十年翻一番；1970 年以后，信息量大约每三年就翻一番；如今，全球信息总量每两年就 21 可以翻一番。2011 年全球被创建和被复制的数据总量为1.8ZB (10 ), 其中 75%来自于个人。IDC 认为，到下一个十年 （2020 年），全球所 有IT 部门拥有服务器的总量将会比现在多出10 倍，所管理的数据将 会比现在多出 50 倍。根据麦肯锡全球研究院（MGI）预测，到2020 21 年，全球数据使用量预计将暴增44 倍，达到35ZB （1ZB=10 Byte）。 医疗卫生、地理信息、电子商务、影视娱乐、科学研究等行业，每天 也都在创造着大量的数据。数据采集成本的下降推动了数据量的剧 增，新的数据源和数据采集技术的出现大大增加了数据的类型，数据 类型的增加导致数据空间维度增加，极大地增加了大数据的复杂度。 1.3 大数据公司的现状：  Google 公司通过大规模集群和MapReduce 软件，每个月处理 的数据量超过400PB 。  百度的数据量：数百PB，每天大约要处理几十PB 数据，大多 要实时处理，如微博、团购、秒杀。  Facebook：注册用户超过8.5 亿，每月上传10 亿照片，每天生 成300TB 日志数据  淘宝网：有3.7 亿会员，在线商品8.8 亿，每天交易数千万， 产生约20TB 数据。  Yahoo! 的数据量：Hadoop 云计算平台有34 个集群，超过3 万 台机器，总存储容量超过100PB。 1.4 网络大数据的特点 （1）多源异构：描述同一主题的数据由不同的用户、不同的网站产 生。网络数据有多种不同的呈现形式，如音视频、图片、文本 等，导致网络数据格式上的异构性。 （2 ）交互性：不同于测量和传感获取的大规模科学数据，微博等社 交网络兴起导至大量网络数据具有很强的交互性。 （3 ）时效性：在网络平台上，每时每刻都有大量新的网络数据发布， 网络信息内容不断变化，导致了信息传播的时序相关性。 （4 ）社会性：网络上用户根据自己的需要和喜好发布、回复或转发 信息，因而网络数据成了对社会状态的直接反映。 （5 ）突发性：有些信息在传播过程中会在短时间内引起大量新的网 络数据与信息的产生，并使相关的网络用户形成网络群体，体现 出网络大数据以及网络群体的突发特性。 （6 ）高噪声：网络数据来自于众多不同的网络用户，具有很高的噪 声。 2、 国家重大战略需求 数据已成为与自然资源、人力资源一样重要的战略资源，隐含巨 大的价值，已引起科技界和和企业界的高度重视。如果我们能够有效 地组织和使用大数据，人们将得到更多的机会发挥科学技术对社会发 展的巨大推动作用，孕育着前所未有的机遇。OReilly 公司断言：“数 据是下一个‘Intel Inside’，未来属于将数据转换成产品的公司和 人们。”