大数据图像处理技术在智能电网的应用分析.pdfVIP

大数据图像处理技术在智能电网的应用分析

【摘要】随着互联网、移动通讯技术的不断发展，特别是电商、社交、

即时通讯平台的活跃，以及信息化、智慧城市、智能电网的快速建设，近

几年来，视频、图像数据呈现爆炸式增长，与此同时，图像处理技术也得

到快速发展，特别是大数据技术的应用为大规模图像处理提供了技术可行

性。本文就图像技术的现状、大数据体系、大数据图像处理技术进行分析

论述，并结合智能电网应用场景进行了思考与分析。

【关键词】图像技术大数据Hadoop智能电网

引言

当前，大数据分析已经成为各行业的一个重要决策支撑手段，大数据

技术能够简化处理海量数据，其大规模集群数据处理开源软件框架

ApacheHadoop，可以可靠地依靠成千上万规模节点处理PB级数据。利用

大数据技术实现图像处理，能够突破传统图像处理技术瓶颈，快速实现大

规模图像数据的处理计算，给带来巨大价值。

一、图像技术现状分析

1.1存储技术现状

目前国内外图像存储解决方案有两种，分别是图像存储至数据库和图

像存储至硬盘。在海量图像规模下，传统数据库承载太多图像会导致数据

库容量和效率成为极大的瓶颈，常见做法是图像存储在硬盘，图像路径存

储至数据库。存储容量方面常采用增加专业的磁盘阵列，磁盘柜或者高级

的光纤盘阵、局域网盘阵等方式解决，而提升访问效率方面常采用quid

缓存和镜像方法。

1.2应用技术现状

图像应用技术随着互联网浪潮不断发展，按应用领域不同可归纳为物

理设备应用、基础软件应用、智能分析应用、智慧分析应用四个应用层次，

其技术实现难度逐层增加。物理设备应用、基础软件应用是当前主流应用

技术，智能分析应用、智慧分析应用是未来图像应用的演进方向。

物理设备应用。物理设备应用是基于视频采集设备的基础应用，表现

为基于各类型摄像头的监控应用。当前视频监控数据保存周期有限，监控

识别过程多为人工。目前市面上部分厂家将带有特定算法的智能芯片集成

到物理设备中，实现特定的分析功能，如：智能家居安防摄像头，能够监

测视频画面中的物体移动实现远程预警；智能车库解决方案，通过车牌识

别算法实现车牌的快速识别。

基础软件应用层。以社交网站、视频网站为典型代表。主要实现图像、

视频的海量存储、快速读取、分享交互。根据业务的不同需求，可灵活采

用传统图像处理架构或分布式图像处理架构，图像信息的检索主要以文字

有哪些信誉好的足球投注网站为主。

智能分析应用。智能分析应用包括图像智能分析，图像检索，视频切

片分析等高级应用。目前淘宝、京东等电商企业图像智能分析技术领先。

如淘宝“拍立淘”功能便是图像智能分析（以图搜图）的典型应用，通过

类目预测，主体检测，图像特征提取，检索索引和排序5层算法框架、利

用大数据、云计算、机器学习等先进的信息技术实现用户购物方式的颠覆。

智慧分析应用。智慧分析应用是指对图像信息处理的实时计算、深度

学习和智慧决策。典型应用为Google公司无人驾驶技术的应用研究，实

时对摄像传感器采集的视频信息进行计算分析，实时决策。

二、Hadoop体系结构

HDFS和MapReduce是Hadoop的两大核心。而整个Hadoop的体系结

构主要是通过HDFS来实现对分布式存储的底层支持的，通过MapReduce

来实现对分布式并行任务处理的程序支持，HBae是Hadoop体系下基于

Bigtable的分布式数据库，其为大数据的存储和应用提供很好的底层支

持。

HDFS

HDFS采用了主从（Mater/Slave）结构模型，一个HDFS集群是由一

个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，

管理文件系统的命名空间和客户端对文件的访问操作；DataNode管理存

储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被

分成若干个数据块，而且这若干个数据块存放在一组DataNode上。

NameNode执行文件系统的命名空间操作，比如打开、关闭、重命名文件

或目录等，负责数据块到具体DataNode的映射。DataNode负责处理文件

系统客户端的文件读写请求，并在NameNode的统一调度下进行数据块的

创建、删除和复制工作。HDFS体系结构如下：

MAPREDUCE

MapReduce是一种并行编程模式，这种模式使得软件开发者可以轻松