[笔记]大数据的特征与发展趋势.doc

大数据时代的特征与发展趋势 在云计算、物联网等技术的带动下，中国已步入‘大数据’时代。邬贺铨说，我们正在进行一场全新的革命，庞大的数据带来的量化转变将在各领域迅速蔓延，没有哪个领域能够逃脱它的影响。据有关机构测算，大数据已成为全球ＩＴ产业中增长最快的领域。2010年全球大数据以及相关的硬件、软件和服务市场达到30亿美元，2015年将超过170亿美元，平均年增长速度超过50%。作为全球大数据产业的重要组成，中国大数据潜在市场规模未来有望达到2万亿人民币。身处“大数据”时代，中国正多方位布局“大数据”产业，各地政府、通信公司、科研院所、ＩＴ企业等都“摩拳擦掌”，希望能分到“一杯羹”。 1．大数据的含义 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络有哪些信誉好的足球投注网站索引需要同时进行批量处理或分析的大量数据集。随着 HYPERLINK /view/1931.htm \t _blank 谷歌MapReduce和GoogleFile System （ HYPERLINK /view/805525.htm \t _blank GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。 2．大数据的特征 关于大数据的特征，业内专业认识人士表示，可以用很多词语来表示。比较有代表性的即为2001年DougLaney最先提出“3V”模型，包括数量(Volume)、速度(Velocity)和种类(Variety)【1】。除此之外，在3V的基础上又提出了一些新的特征。关于第四个V的说法不一，IDC 认为大数据还应当具有价值性(Value)，大数据的价值往往呈现出稀疏性的特点。而IBM 认为大数据必然具有真实性(Veracity)。维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集【2】。如今，业内人士已经将其扩展到了11个V，包括有效性、可见性等。 下面就目前使用最多的“4V”模型进行分析。“4V”特征主要体现在以下方面： 2.1.规模性（volume） Volume指的是数据巨大的数据量以及其规模的完整性。数据的存储TB扩大到ZB。这与数据存储和网络技术的发展密切相关。数据的加工处理技术的提高，网络宽带的成倍增加，以及社交网络技术的迅速发展，使得数据产生量和存储量成倍增长。实质上，在某种程度上来说，数据的数量级的大小并不重要，重要的是数据具有完整性。数据规模性的应用有如下的体现，比如对每天12 tb的tweets进行分析，了解人们的心理状态，可以用于情感性产品的研究和开发；基于Facebook上成千上万条信息的分析，可以帮助人们处理现实中的朋友圈的利益关系。 2.2.高速性（Velocity） Velocity主要表现为数据流和大数据的移动性。现实中则体现在对数据的实时性需求上。随着移动网络的发展，人们对数据的实时应用需求更加普遍，比如通过手持终端设备关注天气、交通、物流等信息。高速性要求具有时间敏感性和决策性的分析——能在第一时间抓住重要事件发生的信息。比如，当有大量的数据输入时（需要排除一些无用的数据）或者需要马上做出决定的情况。比如：一天之内需要审查500万起潜在的贸易欺诈案件；需要分析5亿条日实时呼叫的详细记录，以预测客户的流失率。 2.3.多样性（variety） Variety指有多种途径来源的关系型和非关系型数据。 这也意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代，各种设备通过网络连成了一个整体。进入以互动为特征的Web2.0时代，个人计算机用户不仅可以通过网络获取信息，还成为了信息的制造者和传播者。这个阶段，不仅是数据量开始了爆炸式增长，数据种类也开始变得繁多。除了简单的文本分析外，还可以对传感器数据、音频、视频、日志文件、点击流以及其他任何可用的信息。比如，在客户数据库中不仅要关注名称和地址，还包括客户所从事的职业、兴趣爱好、社会关系等。利用大数据多样性的原理就是：保留一切你需要的对你有用的信息，舍弃那些你不需要的；发现那些有关联的数据，加以收集、分析、加工，使得其变为可用的信息。 2.4.价值性（value） Value体现出的是大数据运用的真实意义所在。其价值具有稀缺性、不确定性和多样性。“互联网女皇”Mary Meeker在2012年互联网发展趋势中，用一幅生动的图像来描述大数据。一张是整整齐齐的稻草堆，另外一张是稻草中缝衣针的特写。寓意通过大数据技术的帮助，可以在稻草堆中找到你所需要