51CTO-安防天下大数据.doc

智能高清视频监控原理精解与最佳实践 安防天下2  SHAPE \* MERGEFORMAT  [  PAGE 780 ] 第19章 大数据与视频监控 [  PAGE 781 ] 第19章 大数据与视频监控  相比云计算及物联网，“大数据”发展稍晚，甚至至今让人摸不着头脑，很多人意识不到其跟安防监控有多少关联，甚至认为大数据是盲目炒作的噱头。 实际上，大数据是真正发挥大规模网络视频监控价值的关键技术，视频监控数据是标准的大数据，而通过大数据存储及分析挖掘，更能发挥海量视频的潜在价值。 需要注意的是，大数据技术主要适用于大型及超大型项目，并且与云技术融合，大数据在视频监控的应用还在探索阶段，具体应用模式有所不同，但是趋势比较明朗。  关键词 大数据的概念 大数据的关键技术 大数据的核心价值 云计算与大数据 Hadoop技术介绍 大数据与视频监控 19.1 大数据概述 19.1.1 大数据的背景 大数据的背景就是“信息爆炸”，随着物联网、电子商务、视频网站、平安城市视频监控、微博、微信等应用的迅速发展，数据信息呈爆炸性增长。 据统计： 2012年，全球的电脑用户平均每天创造200多亿GB数据； 沃尔玛仅每小时处理的客户交易就超过100万次； 每天亚马逊上将产生600万笔订单； Twitter上每天发布5千多万条消息； Facebook上的照片有400亿张； YouTube网站用户每分钟上传50小时时长的视频； Google每天处理的有哪些信誉好的足球投注网站量超过30亿次； 安装有20万个高清摄像头的平安城市，每天至少产生1PB的视频数据。 这些被学术界分为结构化、非结构化以及半结构化的海量的各类数据，统称“大数据”(Big Data)。 以往大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，而现在提及“大数据”，通常是指解决问题的一种方法，即通过收集、整理生活及生产中方方面面的数据，并对其进行分析挖掘，进而从中获得有价值的信息，最终衍化出一种新的商业模式。 19.1.2 大数据的定义 大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合，大数据技术被设计用于在成本可承受(Economically)的条件下，通过非常快速(Velocity)的采集、发现和分析，从大量化(Volume)、多类别(Variety)的数据中提取出价值(Value)，大数据融合云计算是IT领域新一代的技术与架构。如图19.1所示。 图19.1 大数据的4V特性 第一个特征V是Volume，即大数据具有“大体量”特征，非结构化数据的爆炸性增长，使其占有总数据的80%以上，比结构化数据增速快10倍以上，数据量级从T到P、E、B，分别对应Tera(1012)、Peta(1015)、Exa(1018)、Bronto(1021)。 第二个特征V是Variety，即大数据具有“异构及多样性”特征，海量数据有不同格式，有结构化(如我们常见的传统数据，还有半结据化数据(如网页数据)、还有非结构化数据，如各类图像、声音、影视、超媒体等)。 第三个特征V是Velocity，即大数据具有“实时性”特征，数据处理及分析需要立竿见影而非事后见效。比如，一些电商数据要尽快处理得出结论进而影响决策。 第四个特征V是Value，即大数据具有“价值性”特征，这是大数据处理的核心及目的。如何从海量、原始的不相关信息(即价值密度较低)的数据，提炼出高价值信息，以进行趋势分析、模型判断、深入挖掘、数据共享，这也是大数据处理的关键及难点。 19.2 大数据相关技术 大数据的基本处理流程与传统数据处理流程有一定的差异，主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各个处理环节中可以采用分布式存储(DFS)、并行处理等方式进行。 大数据涉及的关键技术包括：数据采集技术(ETL)、分布式文件系统(HDFS)、分布式数据库(HBase)、并行计算处理(MapReduce)、大数据的内容分析等。 1. 基础技术 数据采集：ETL(Extraction-Transformation-Loading数据提取、转换和加载)。 数据存取：关系数据库和NoSQL(Not Only SQL )即非关系数据库等。 基础架构支持：云存储(Cloud Storage)、分布式文件系统(HDFS)等。 计算结果展现：云计算(Cloud Computing)、标签云、关系图等。 2. 存储技术 非结构化数据：图片、视频、PDF、PPT等文件存储。 半结构化数据：转换为结构化存储或按照非结构化存储。 3. 分析技术 统计和分析：排行榜、地域占比、文本分析等。 数据挖掘：关联规则分析、分类、聚类。 模型预测：预测模型、机器学习、建模仿真。 4.