大数据现状概述.pdf

大数据现状概述  报告框架：    一、大数据的概念  关于大数据，业界并没有统一、标准的定义，获得较多认可的定义有以下三个：  1、百度大数据概念  大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统 数据库工具对其内容进行抓取、管理和处理。  大数据首先是指数据体量(volumes)大，指 大型数据集，一般在 10TB 规模左右，但在实际应用中，很多企业用户把多个数据集放在一 起，已经形成了 PB （1PB=1024TB）级的数据量；其次是指数据类别(variety)大，数据来自多 种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结 构化和非结构化数据。接着是数据处理速度（Velocity ）快，在数据量非常庞大的情况下， 也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity ）高，随着社交数据、   1 / 30    企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有 效的信息之力以确保其真实性及安全性。  2、互联网周刊大数据概念  大数据的概念远不止大量的数据（TB ）和处理大量数据的技术，或者所谓的4 个 V 之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规 模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海 量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。  3、研究机构 Gartner 大数据概念  大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、 高增长率和多样化的信息资产。从数据的类别上看，大数据指的是无法使用传统流程或工 具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方 法的数据集。 亚马逊网络服务（AWS ）、大数据科学家 JohnRauser 提到一个简单的定义： 大数据就是任何超过了一台计算机处理能力的庞大数据量。 研发小组对大数据的定义： 大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。 Kelly 说：大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知 在于，它是如此之大，分析它需要多个工作负载，这是 AWS 的定义。当你的技术达到极限 时，也就是数据的极限。 大数据不是关于如何定义，最重要的是如何使用。最大的挑战在 于哪些技术能更好的使用数据以及大数据的应用情况如何。  二、大数据的特点  1、静态特征  要理解大数据这一概念，首先要从大入手，大是指数据规模，大数据一般指在 10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以 用 4 个 V 来总结(Volume、Variety 、Value 和 Velocity) ，即体量大、多样性、价值密度低、速 度快。   2 / 30    第一，数据体量巨大。从 TB 级别，跃升到 PB 级别。  第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。  第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两 秒。  第四，处理速度快，1 秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。 物联网、云计算、移动互联网、车联网、手机、平板电脑、PC 以及遍布地球各个角落的各 种各样的传感器，无一不是数据来源或者承载的方式。  大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数 据问题的核心是大数据技术。目前所说的大数据不仅指数据本身的规模，也包括采集数据 的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域， 通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如 何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展 的前沿。  2、动态特征