基于SharkSpark的分布式空间数据分析框架.pdfVIP

第17卷 第4 期 Vol. 17, No.4 2015 年4 月 Apr., 2015 基于Shark/Spark 的分布式空间数据分析框架 1,2 1,2 1,* 温 馨 ,罗 侃 , 陈荣国 (1. 中国科学院地理科学与资源研究所资源与环境信息系统国家重点实验室，北京 100101； 2. 中国科学院大学，北京 100049) 摘要：随着空间数据的与日俱增，传统依托于单节点的空间数据管理方法，已难以满足海量数据高并发的需求。云 计算的兴起带来机遇与挑战，分布式技术与数据库技术的优势互补，为云计算下高效的数据管理提供了可能。本 文提出一种在分布式计算引擎（Shark/Spark）中集合之关键技术（包括空间数据映射、空间数据加载、数据备份及空 间查询等），将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合， 实现一种基于Shark/Spark 的分布式空间数据分析框架。在具体实现中，通过空间自定义函数和空间函数下推2 种 方式实现空间查询，结果表明，影响返回结果数据量的空间查询更适合下推给空间数据库完成，而不影响返回结果 数据量的空间查询，利用分布式计算引擎直接运算更有优势。同时，通过与现有的一种分布式GIS 方案（ArcGIS on Hadoop ）对比发现，空间数据库的空间索引可有效提高查询效率，空间数据管理也更加独立。 关键词：Shark ；Spark ；Hadoop ；空间数据库；空间查询 DOI:10.3724/SP.J. 1047.2015.00401 1 引言 推入到数据层处理。某些情况下，其可同时实现关 系数据库的高性能特性和MapReduce 的扩展性、容 [9] 空间技术及存储技术的发展，推动着空间数据 错性 。MongoDB（/mongodb/mongo- 爆炸式增长，海量空间数据的管理成为了地理信息 hadoop ）通过MongoDB Connector 实现Hadoop 与 系统（Geographic Information System ，GIS ）研究的 MongoDB 的数据交换，提高了读取运算大数据的 [1-3] 效率。在此基础之上，结合Spark API ，Niskanen 热点 。传统的空间数据管理依托于单节点关系 型数据库，其在海量数据管理、高并发读写和扩展 （/2014/02/18/using-spark-with-mon- 性等方面存在局限性。云计算的兴起为空间数据 godb/ ）实现MongoDB 与Spark 的结合。在分布式技 管理带来了机遇与挑战，将云计算技术与空间数据 术与GIS 结合中，Hadoop-GIS[10] 通过与Hive 集成， 库技术结合，实现对海量空间数据的检索查询，逐 利用MapReduce 处理边界对象，实现了Hadoop 的 [4-5] 大型空间运算。Witayangkurn[11]将数据存储在Post- 渐成为空间信息技术的新兴研究领域 。本文以 空间数据库实现空间数据存储，对空间数据进行高 GIS 中，通过Java 拓扑套件（Java Topology Suite ，