云存储环境下的测绘成果资料管理系统设计与实现.docx

?

?

云存储环境下的测绘成果资料管理系统设计与实现

?

?

潘磊郭晓虎薛峥章亮

摘要：在测绘生产中，由于成果数据的不断积累，数据量已经由过去的TB级发展至PB级，使得测绘成果数据面临着更高的管理要求，因此在云存储环境下搭建一套测绘资料在线管理系统，充分利用云存储的技术优势确保数据存储的安全性、高可扩展性和高可靠性，实现测绘成果资料在线化管理，提升测绘资料管理的质量和效率，是当前测绘生产发展的必然趋势。本文介绍了云存储环境下的测绘资料在线管理系统的框架设计和主要功能，通过高效的文件快速查询检索，满足测绘成果资料在线管理需求。

关键词：云存储测绘成果资料管理

1、引言

随着测绘事业的不断发展，测绘地理信息成果资料的数据量呈逐年快速增长趋势，测绘成果资料大多以光盘、磁带、硬盘为主要存储载体进行备份，导致存放数据的硬盘不断增多，其中有些硬盘存储量达到数百万个小文件，传统方式管理起来日渐乏力，过去的成果资料管理很大程度依靠人工，采用文档方式记录，查询检索效率低，很难快速找到对应的资料数据，给日常管理与数据检索传输造成很大困扰，不利于测绘成果资料的管理，这也是目前测绘资料管理普遍存在的问题。[1]

云存储（CloudStorage）是在云计算（CloudComputing）基础上延伸和发展而来，通过集群应用、网格技术或分布式文件系统等技术，将服务器后端存储资源虚拟化，将数据分布式存储在众多的服务器主机上，通过网络共享方式提供给用户使用。和传统存储相比，云存储具有高性价比、高可靠性、高可扩展性的特点，同时支持高并发、高带宽、自动均衡负载。相同数据在不同存储节点存有两个或多个副本，任意节点发生故障，系统将自动复制数据块到新的存储节点，具有高可靠性，可大规模横向扩展，足以满足地理信息数据与日俱增的数据存储需求。

本文主要探讨云存储环境下，设计开发一套测绘资料管理系统，模拟日常测绘成果资料管理流程，将每个磁盘存储信息与云存储空间一一对应，将测绘成果数据上传到云存储的同时，建立相关元数据库，实现海量数据快速实时检索。

2、系统框架设计

测绘成果资料管理系统符合OAIS开放档案系统（OpenArchivalInformationSystem）标准[2]，采用B/S架构实现服务的交互，系统基于底层云存储服务，搭建文件检索和事务管理数据库，通过系统平台以WEB页面形式将信息提供给用户，系统包括资料预处理模块、管理模块、存储管理模块、数据库管理模块、文件检索模块等功能模块。

2.1资料预处理模块

首先对生产部门提交的测绘成果资料，以硬盘为单位进行硬盘登记和硬盘健康状况检验，对不满足健康状况的硬盘，及时进行硬盘数据备份。提取硬盘中相关元数据入数据库，调用数据上传功能将测绘资料数据上传到底層云存储中。

2.2管理模块

管理模块包括任务功能调度、平台及存储运行状态监测、系统日志记录以及用户权限管理等功能。任务功能调度具有分布式功能调用、动态均衡、存储资源监控等功能。存储资源监控包括获取集群状态、存储使用率、性能等信息。用户权限管理将不同类型的用户分配对应的权限。

2.3存储管理模块

存储管理模块包括云存储空间管理和文件共享服务等功能。云存储空间管理功能可动态分配和回收存储空间，并实时查看云存储剩余空间。文件共享服务功能采用SMB协议（全称是ServerMessageBlock）搭建基于linux系统的文件共享服务，建立linux服务器的数据与客户端之间的数据共享。文件共享服务将云存储数据以硬盘挂载的形式提供服务，挂载后和操作本地磁盘没有区别，数据的访问无需进行下载，可在线实时操作。当使用部门申请数据获准后，可以从云存储内部将数据直接传输进该部门空间。底层云存储系统的文件存储由众多X86架构的存储节点组成，利用存储软件将网络中的存储节点资源进行整合组织，并提供一套维护管理云存储空间的标准接口，通过接口调用动态分配云存储资源、存储资源回收以及状态监控等功能。

2.4数据库管理模块

数据库管理模块建立起系统平台与数据库之间的关联，管理包括元数据库，事务管理数据库。元数据存储在ElasticSearch文件检索数据库中，事务管理数据存储在关系型数据库MySQL中，支持分布式部署，存储资料管理系统中的业务数据。

2.5文件检索功能模块

文件检索功能模块采用ElasticSearch搭建文件检索功能，支持分布式部署的全文有哪些信誉好的足球投注网站引擎。无论是基于时间检索还是基于空间检索，ElasticSearch在大数据查询方面都表现出比基于数据库查询更高的检索效率[3]，文件检索供用户按照文件和文件目录检索，对数据查询时，可根据文件名、文件后缀、时间段进行文件检索，对于检索到的文件可手动选择加载对应云存储空间到本地工作站访问。

3、存储管理技术介绍

底层云存储采