基于CIMISS的省级气象大数据服务系统设计.docx

?

?

基于CIMISS的省级气象大数据服务系统设计

?

?

雷鸣武国良赵玉娟姜罕盛

摘要：针对原有省级CIMISS系统无法有效支撑现代化气象数据服务的问题，利用分布式技术，构建了天津省级气象大数据服务中心，搭建了以HBase、GBase、分布式NAS为基础的统一数据存储环境，与省级CIMISS系统形成了无缝对接，满足了天津气象业务的现代化需求。在测试对比中发现，本系统的查询性能得到较大提升：自动站数据比CIMISS系统提升了5.2-22.3倍（倍数随着时间不断扩大），而格点数据则比原一体化平台提升了5倍多，充分验证了本方案的有效性。

关键词：数据共享;CIMISS;分布式数据库;关系数据库

Abstract：InviewoftheproblemthattheoriginalprovincialCIMISSsystemcannoteffectivelysupportthemodernmeteorologicaldataservice.Byusingthedistributedtechnology，Tianjinprovincialmeteorologicalbigdataservicecenterisbuilt，aunifieddatastorageenvironmentbasedonHBase，GbaseanddistributedNASisbuilt，andaseamlessconnectionwiththeprovincialCIMISSsystemisformed，whichmeetsthemodernneedsofTianjinmeteorologicalbusiness.Inthetestandcomparison，itisfoundthatthequeryperformanceofthissystemisgreatlyimproved：theautomaticstationdatais5.2-22.3timeshigherthanthecimisssystem（themultipleincreaseswithtime），whilethegriddataismorethan5timeshigherthantheoriginalintegratedplatform，whichfullyverifiestheeffectivenessofthisscheme.

Keywords：datasharing;CIMISS;distributeddatabase;relationaldatabasemanagementsystem（RDBMS）

隨着分布式技术的兴起，现代化数据服务的能力越来越高，但目前，气象系统的数据服务能力却相对落后。业务平台的集成力度和产品服务的质量仍然不够，产品和数据存在不一致，“信息孤岛”现象仍然存在[1]。

同时，原有由国家气象信息中心2009年建设的全国综合气象信息共享系统（CIMISS），于2013年推广部署于全国各省级气象数据中心，为各省气象部门提供了良好的业务支撑与数据服务[2-6]，使上述问题得到一定程度的缓解。

但是CIMISS无法对本地化特色资料进行有效支撑，而随着气象数据量的不断增长和业务的不断拓展，省级CIMISS的数据处理和服务能力已经明显不足，无法满足现有的业务和数据服务的需求[7-10]。

基于以上原因，利用分布式技术，构架天津省级气象数据服务中心。同时，透过CIMISS系统中的全国气象数据统一服务接口（MUSIC：MeteorologicalUnifiedServiceInterfaceCommunity）[11-12]，将本地数据服务中心与省级CIMISS的数据源进行整合服务，提供全国统一数据访问服务和应用编程接口（API），构建无缝连接的数据服务中心。

1系统数据架构设计

为了更有效的提供数据服务，将天津省级数据分为冷热两级数据进行处理，将实时性要求较高的自动站类数据透过分布式数据库提供服务，而将需求实时性相对较低的数据，透过HDFS和Hbase提供服务。整个提供架构图如图1所示：

其中，Hbase分为两套不同的数据库，热数据中的Hbase为了有效保证查询速度，仅存储3个月的数据，其余的数据则存储在另外一套Hbase中作为冷数据源，提供数据服务。

随着业务有哪些信誉好的足球投注网站维度的不断添加，使得跨表查询需求越来越多，系统的慢查不断报出，为此引入了Elasticsearch（简称ES，下同）有哪些信誉好的足球投注网站引