大数据使用及现状调研报告.pdfVIP

大数据使用及现状调研报告--第1页

⼤数据使⽤及现状调研报告

⼤数据使⽤及现状调研报告

⼤数据，指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策⼒、洞察发

现⼒和流程优化能⼒的海量、⾼增长率和多样化的信息资产。

⼤数据特征分析⼤数据，不仅有⼤“”这个特点，除此之外，它还有很多其他特⾊。在这⽅⾯，业界各个⼚商都有⾃⼰独特的见解，但是

总体⽽⾔，可以⽤“4V+1C”来概括，“4V+1C分别代表了Variety（多样化）、Volume（海量）、Velocity（快速）、Vitality（灵活）以及

Complexity（复杂）这五个单词。

Variety（多样化）

⼤数据⼀般包括以事务为代表的结构化数据、以⽹页为代表的半结构化数据和以视频和语⾳信息为代表的⾮结构化等多类数据，并且它们的

处理和分析⽅式区别很⼤。

与⼤数据现象有关的数据量为尝试处理它的数据中⼼带来了新的挑战：它多样的种类。随着传感器、智能设备以及社交协作技术的激增，企

业中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来⾃⽹页、互联⽹⽇志⽂件（包括单击流数据）、有哪些信誉好的足球投注网站索引、社交

媒体论坛、电⼦邮件、⽂档、主动和被动系统的传感器数据等原始、半结构化和⾮结构化数据。简⾔之，种类表⽰所有的数据类型。

Volume（海量）

如今存储的数据数量正在急剧增长，毫⽆疑问我们正深陷在数据之中。我们存储所有事物：环境数据、财务数据、医疗数据、监控数据等。

有关数据量的对话已从TB级别转向PB级别，并且不可避免地会转向ZB级。现在经常听到⼀些企业使⽤存储集群来保存数PB的数据。随着

可供企业使⽤的数据量不断增长，可处理、理解和分析的数据⽐例却不断下降。

通过各种智能设备产⽣了⼤量的数据，PB级别可谓是常态，⼀些客户每天处理的数据量都在⼏⼗GB、⼏百GB左右，估计国内⼤型互联⽹企

业每天的数据量已经接近TB级别。

Velocity（快速）

⼤数据要求快速处理，因为有些数据存在时效性。⽐如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做

类似补货这样的决策，从⽽导致这些数据失去了分析的意义。

就像我们收集和存储的数据量和种类发⽣了变化⼀样，⽣成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的

增长速率，应动态地将此定义应⽤到数据——数据流动的速度。有效处理⼤数据需要在数据变化的过程中对它的数量和种类执⾏分析，⽽不

只是在它静⽌后执⾏分析。

Vitality（灵活）

在互联⽹时代，和以往相⽐，企业的业务需求更新的频率加快了很多，那么相关⼤数据的分析和处理模型必须快速地适应新的业务需求。

Complexity（复杂）

虽然传统的BI已经很复杂了，但是由于前⾯4个V的存在，使得针对⼤数据的处理和分析更艰巨，并且过去那套基于关系型数据库的BI开

始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理⽅式和⼯具。

⼤数据⾏业发展现状

1、⼀些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联⽹⽤户，例如⾳乐、

照⽚、视频、监控录像等影⾳资料。现在这些数据不但数据量巨⼤，并且共享到了互联⽹上，⾯对所有互联⽹⽤户，其数量之⼤是前所未

有。

2、移动互联⽹出现后，移动设备的很多传感器收集了⼤量的⽤户点击⾏为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天

产⽣了⼤量的点击数据，这些数据被某些公司所有拥有，形成⽤户⼤量⾏为数据。

3、电⼦地图如⾼德、百度、Google地图出现后，其产⽣了⼤量的数据流数据，这些数据不同于传统数据，传统数据代表⼀个属性或⼀个度

量值，但是这些地图产⽣的流数据代表着⼀种⾏为、⼀种习惯，这些流数据经频率分析后会产⽣巨⼤的商业价值。基于地图产⽣的数据流是

⼀种新型的数据类型，在过去是不存在的。

大数据使用及现状调研报告--第1页

大数据使用及现状调研报告--第2页

4、进⼊了社交⽹络的年代后，互联⽹⾏为主要由⽤户参与创造，⼤量的互联⽹⽤户创造出海量的社交⾏为数据，这些数据是过去未曾出现

的。其揭⽰了⼈们⾏为特点和⽣活习惯。

5、电商户崛起产来了⼤量⽹上交易数据，包含⽀付数据，查询⾏为，物流运输、购买喜好，点击顺序，评价⾏为等，其是信息流和资⾦流

数据。

6、传统的互联⽹⼊⼝转向有哪些信誉好的足球投注网站引擎之后，⽤户的有哪些信誉好的足球投注网站⾏为和提问⾏为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济