面向Spark的遥感影像金字塔模型的并行构建方法 - 计算机应用与软件.PDF

第３４卷第５期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．５ ２０１７年５月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｙ２０１ ７ 面向Ｓｐａｒｋ的遥感影像金字塔模型的并行构建方法 黄冬梅　杨雨浩　梅海彬　王振华 （上海海洋大学信息学院　上海２０１３０６） 摘　要　　随着遥感技术和摄影测绘的发展，遥感影像的分辨率不断提高，数据量日益增长，这对快速、高效地处 理海量遥感影像数据提出了更高的要求，如何有效、智能地存储和处理海量遥感数据成为研究的热点。在分析现 有金字塔模型的并行构建的基础上，设计一种面向Ｓｐａｒｋ计算框架的影像金字塔模型。模型给出了影像金字塔 构建算法及影像数据的分布式存储组织结构，实现了海量遥感影像数据在Ｓｐａｒｋ中的并行处理，为Ｓｐａｒｋ增加了 计算处理空间数据格式的能力。实验结果表明，利用该方法能够在Ｓｐａｒｋ云平台上实现快速、高效的解决海量遥 感影像金字塔的并行构建，特别是在面对海量遥感影像数据时，无论从金字塔构建性能上还是遥感影像的计算效 率上，Ｓｐａｒｋ都更具优势。 关键词　　遥感影像　金字塔　Ｓｐａｒｋ　算法　分布式 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０５．０３１ ＡＰＡＲＡＬＬＥＬＣＯＮＳＴＲＵＣＴＩＯＮＭＥＴＨＯＤＯＦＲＥＭＯＴＥＳＥＮＳＩＮＧ ＩＭＡＧＥＰＹＲＡＭＩＤＭＯＤＥＬＦＯＲＳＰＡＲＫ ＨｕａｎｇＤｏｎｇｍｅｉ　ＹａｎｇＹｕｈａｏ　ＭｅｉＨａｉｂｉｎ　ＷａｎｇＺｈｅｎｈｕａ （ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎ，ＳｈａｎｇｈａｉＯｃｅａｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１３０６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｗｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｒｅｍｏｔｅｓｅｎｓｉｎｇｔｅｃｈｎｏｌｏｇｙａｎｄｐｈｏｔｏｇｒａｍｍｅｔｒｙ，ｔｈｅｒｅｓｏｌｕｔｉｏｎｏｆｒｅｍｏｔｅｓｅｎｓｉｎｇ ｉｍａｇｅｉｓｉｎｃｒｅａｓｉｎｇａｎｄｔｈｅｄａｔａｉｓｇｒｏｗｉｎｇｄａｙｂｙｄａｙ．Ｔｈｉｓｈａｓｐｕｔｆｏｒｗａｒｄｈｉｇｈｅｒｒｅｑｕｉｒｅｍｅｎｔｓｆｏｒｆａｓｔａｎｄｅｆｆｉｃｉｅｎｔ ｐｒｏｃｅｓｓｉｎｇｏｆｍａｓｓｉｖｅｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅｄａｔａ，ａｎｄｈｏｗｔｏｓｔｏｒｅａｎｄｐｒｏｃｅｓｓｅｆｆｅｃｔｉｖｅｌｙａｎｄｉｎｔｅｌｌｉｇｅｎｔｌｙｒｅｍｏｔｅｓｅｎｓｉｎｇ ｄａｔａｂｅｃｏｍｅｔｈｅｒｅｓｅａｒｃｈｈｏｔｓｐｏｔ．Ｏｎｔｈｅｂａｓｉｓｏｆａｎａｌｙｚｉｎｇｔｈｅｐａｒａｌｌｅｌｃｏｎｓｔｒｕｃｔｉｏｎｏｆｅｘｉｓｔｉｎｇｐｙｒａｍｉｄｍｏｄｅｌ，ａＳｐａｒｋ ｉｍａｇｅｐｙｒａｍｉｄｍｏｄｅｌｉｓｄｅｓｉｇｎｅｄ．Ｔｈｅｍｏｄｅｌｐｒｏｖｉｄｅｓｔｈｅｉｍａｇｅｐｙｒａｍｉｄｃｏｎｓｔｒｕｃｔｉｏｎａｌｇｏｒｉｔｈｍａｎｄｔｈｅｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅｓｔｒｕｃｔｕｒｅｏｆｉｍａｇｅｄａｔａ．ＴｈｅｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｏｆｍａｓｓｉｖｅｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅｄａｔａｉｎＳｐａｒｋｉｓｒｅａｌｉｚｅｄ，ａｎｄ ａｄｄｅｄｗｉｔｈｔｈｅａｂｉｌｉｔｙｏｆｃａｌｃｕｌａｔｉｎｇａｎｄｐｒｏｃｅｓｓｉｎｇｔｈｅｓｐａｔｉａｌｄａｔａｆｏｒｍａｔｆｏｒＳｐａｒｋ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ ｔｈｉｓｍｅｔｈｏｄｃａｎａｃｈｉｅｖｅｆａｓｔａｎｄｅｆｆｉｃｉｅｎｔｓｏｌｕｔｉｏｎｔｏｔｈｅｐａｒａｌｌｅｌｃｏｎｓｔｒｕｃｔｉｏｎｏｆｍａｓｓｉｖｅｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅｐｙｒａｍｉｄｏｎ Ｓｐａｒｋｃｌｏｕｄｐｌａｔｆｏｒｍ，ｅｓｐｅｃｉａｌｌｙｉｎｔｈｅｆａｃｅｏｆｍａｓｓｉｖｅｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅｄａｔａ，ｂｏｔｈｆｒｏｍｔｈｅｐｙｒａｍｉｄｔｏｂｕｉｌｄ ｐｅｒｆｏｒ