分布式识别论文.docxVIP

17/17

分布式识别

分布式识别（精选五篇）

分布式识别篇1

遥感信息提取的主要对象是陆地表层系统中各类自然和人文要素,水体是其中主要的自然要素之一,具体表现为湖泊、河流、湿地等形态[1]。快速、准确地从卫星遥感影像上获取水体信息,已成为水资源调查及监测湿地保护、洪水灾害评估等领域的重要技术手段[2]。随着遥感技术的不断发展,水体大数据呈几何级数倍增,而传统的遥感图像处理软件数据处理能力有限,使得遥感图像的处理速度成为遥感技术在不同领域应用和发展的瓶颈。

为了解决信息提取中的数据密集与计算密集问题,满足对实时性要求较高的应用对速率的要求,并行计算受到国内外学者的普遍关注[3,4,5]。2004年,Google提出MapReduce[7,8]分布式计算模型。MapReduce模型隐藏了并行计算、数据分配、任务调度及负载均衡等复杂细节,可以实现自动伸缩的大规模并行计算。由于

MapReduce编程模式简单,具有高性能和高容错而得到广泛的应用。

本文探讨将分布式并行计算思想应用于遥感图像的水体信息提取中,构建基于MapReduce的遥感图像水体识别模型。选取渭干河-库车河三角洲区域Landsat8影像,利用水体指数模型、单波段阈值法、波谱间关系模型等进行水体信息自动提取的实验,水体识别效率得到了一定的提高。

1MapReduce

1.1MapReduce编程模型

MapReduce是一个处理超大数据集的分布式并行编程模型,它把整个任务拆分成多个子任务,并将这些任务分发给一个主节点(NameNode)。主节点将子任务进行分组并分发给自己管理的各个从节点(DataNode)共同完成。然后,通过整合各个节点的中间结果而得到最终结果。

在分布式计算中,MapReduce框架负责处理并行编程中分布式存储、工作调度以及网络通信等复杂问题,它把处理过程高度抽象为两个函数:Map和Reduce。Map负责把任务分解成多个子任务,Reduce负责把多个子任务处理的结果汇总起来。

1.2MapReduce处理过程

MapReduce处理数据分为两个阶段:Map阶段和Reduce阶段。Map阶段开始前,要对输入数据进行“分片”(即将超大输入数据划分成大小相等的“数据块”)。每个Map任务接收一个数据“分片”,然后产生一个key,value键值对形式的中间结果。MapReduce模型将所有中间结果按照key值进行排序和合并,作为Reduce任务的输入。Reduce()函数接收一个如key,(listofvalues)形式的输入,合并key相同的value值,产生key,value对形式的最终输出。MapReduce的执行流程如图1所示。

2基于分布式计算的水体识别

2.1数据划分及组织形式

在海量遥感数据并行计算中,数据块的划分方式和数据分块的大小直接影响着并行计算的效率[9]。本研究采用矩形块方式切分每幅影像,以默认数据分块大小(64MB)为单位,对研究区影像进行切分。选取开源的

Hadoop为实验平台,基于HDFS(HadoopDistributedFileSystem)和HBase(HadoopDatabase)的特点,将遥感影像文件存放到HDFS中。而其他元数据信息存入HBase中,并采取为同一数据块建立多个副本以提高数据块的可靠性与可用性(如图2所示为B0、B1等数据块存储在HDFS中的示例)。

2.2基于MapReduce模型的的水体识别

常用的遥感影像水体信息提取方法主要是依据水体和其他地物在各个波段上光谱特征的差异(如图3所示)。利用单个波段或多个波段构造一定的水体提取模型,将水体和其他地物区分开来。本文主要选取单波段阈值法、谱间关系法和水体指数法对水体信息进行提取。

(1)单波段阈值法

利用某种地物与背景地物在某一波段上的反射率(或像元灰度值)的差异,确定某一数值为区分该地物和背景地物的方法,称为单波段阈值法[10]。本文选取TM5短波红外波段数据,通过选择一定的阈值T,小于该阈值的为水体,水体提取模型如下所示:

(2)谱间关系法

谱间关系法是多波段方法的一种,通过分析地物与水体的光谱特征属性,在LandsatTM影像上,水体对不同波长的光谱反射率随着波长的增加而减小,同时光谱反射率变化范围有限。早期研究表明,通过比较TM2与TM3的光谱值和以及TM4与TM5的光谱值和,可以有效增加水体与地物的光谱差异。而这一谱间关系特点是水体特有的,可以有效的区分水体信息[11]。

(3)水体指数法

水体指数法是水体识别应用最广泛的方法,它通过选取与水体提取紧密相关的多个波段,构建水体指数数学模型,增强水体与背景地物之间的反