基于NoSQL的海量空间数据云存储和服务方法.pdfVIP

第15卷 第2 期 地 球 信 息 科 学 学 报 Vol. 15, No.2 2013 年4 月 JOURNAL OF GEO-INFORMATION SCIENCE Apr., 2013 基于NoSQL 的海量空间数据云存储与服务方法 陈崇成，林剑峰，吴小竹，巫建伟，连惠群 (福州大学福建省空间信息工程研究中心空间数据挖掘与信息共享教育部重点实验室，福州350002) 摘要：近年来，实现海量空间数据高效地存储管理和在线服务，成为地学信息科学领域日益关注的热点问题。本文 根据矢量和栅格空间数据的不同特点，提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访 问服务方案，在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J 和并行图计算框架。在三层式空间 数据云存储架构基础上，给出NoSQL 数据库技术的栅格和矢量数据云存储的实现策略与方法，并开展了通用数据 访问接口的设计。采用分布式文件系统HDFS 存储栅格数据，并使用列族数据库HBase 对其建立分布式空间索 引，及采用满足ACID 约束的分布式图数据库Neo4J 来存储矢量数据，并使用R 树建立空间索引。在自主研发的地 理知识云平台GeoKSCloud 框架下，初步实现了核心组件-空间数据聚合中心（GeoDAC）软件，可为各类用户提供 空间数据分布式存储管理和访问服务。通过搭建试验床，开展GeoDAC 与开源GIS 软件PostGIS 在矢量数据读写 访问性能方面的对比测试。结果表明，虽然GeoDAC 没有获得写入性能的加速作用，但其具有PostGIS 无法比拟 的强大读取性能。GeoDAC 将海量数据经过空间分割后分布在集群上，能够并行处理查询请求，极大地提高空间 查询速度，具有广阔的应用前景。 关键词：空间数据；云存储；NoSQL；地理知识云；数据聚合中心 DOI ：10.3724/SP.J. 1047.2013.00166 1 引言 致性、可用性、网络分割），提供比ACID （即原子性、 一致性、隔离性和持久性）更松散的BASE （即基本 近年来，广大用户通过Web 2.0 网站上传空间 可用、软状态、最终一致性）并发事务模型，实现数 [5-6] 数据(如GPS 导航定位点、兴趣标识点) 、编辑在线地 据库在特定领域应用 。Brewer 重新阐述了CAP [1] 图等行为持续生产着海量的矢量型空间数据 。鉴 定理，提出了CAP-延时连接（CAP-Latency 此，实现高效的海量空间数据存储、管理和在线服 Connection）机制，并指出分布式数据库可通过显式 [2] 务，成为地学信息科学领域日益关注的热点问题 。 处理网络分割与错误补偿（Mistake Compensation ）, [7] 传统的空间数据存储系统，通常是在关系型数 实现CAP 三个特性之间的完美均衡 。