基于HBase的民用航空发动机大数据管理系统.doc

基于HBase的民用航空发动机大数据管理系统

为克服传统关系型数据库存储管理海量航空发动机状态监控数据的不足，本研究提出了基于HBase的民用航空发动机大数据管理系统。首先分析了该系统的功能需求，给出了系统整体架构与模块设计，并对关键技术进行了阐述。最后设计试验对比HBase与Oracle的有哪些信誉好的足球投注网站效率。试验结果表明检索结果集较大时HBase的有哪些信誉好的足球投注网站效率明显高于Oracle。本研究中提出的航空发动机大数据管理系统为发动机海量数据的存储管理提供了一种解决方案。

标签：民用航空发动机；大数据；NoSQL；HBase；有哪些信誉好的足球投注网站效率

0引言

作为飞机的核心组成部分，航空发动机的健康管理是航空公司日常工作的重中之重。航空发动机是一个十分复杂的系统，其日常运营中会产生大量的狀态监控数据。这些监控数据能够帮助工程师了解发动机当前状态，判断发动机有无发生故障，并根据当前状态制定相应的维修计划。因此实现对航空发动机数据的有效监控与管理成为各航空公司的迫切需求。

以往航空发动机的状态监控数据都存储在关系型数据库中。工程上应用较广泛的关系型数据库包括Oracle、SQLServer、DB2、Sybase、Access等[1]。在存储数据量较小时，采用传统的关系型数据库进行检索，其检索速度是可以满足日常需求的。然而随着发动机状态监控技术的进步以及航空公司机队飞机数量的快速增加，航空公司收集到的状态监控数据量逐渐变的非常庞大，并且还有不断增长的趋势。以国内某航空公司为例，2013年时其飞机保有量大约为300架，每天大约有1300多个航班。在这种情况下，仅仅是快速存取记录器（QAR）记录的数据量就达到每年2TB的规模[2]。这仅仅是QAR的数据量，其他数据来源如飞机通信寻址报告系统（ACRAS）、原始设备制造商（OEM）等都会产生大量的监控数据。随着航空公司机队规模的扩大以及技术的进步，其获得的发动机状态监控数据量将变得更加巨大。

虽然关系型数据库性能非常好，但它毕竟是通用型的数据库，并不能完全适应所有用途。传统的关系型数据库需要固定的模式来描述数据，因此难以适应工况数据模式多变的特点；传统的数据库很难进行横向扩展。对于容量扩充的需求只能通过停机维护和数据迁移来实现，时间和财力成本较高。此外，传统的关系型数据库难以满足高并发读写的需求，简单查询时返回结果不够快并且对硬件性能要求较高[3]。由于存在这些缺陷，仅依靠关系型数据库本身的索引或者分区分表等方法来存储规模日趋增长的发动机监控数据，其存储和使用效率会变的非常低下，严重时甚至会导致数据库服务器崩溃。

针对航空公司有效存储管理发动机海量监控数据的迫切需求，本研究提出一种面向民用航空发动机海量监控数据的存储管理方法，并设计了相应的大数据存储管理系统。使用关系型数据库和分布式文件系统构成两级存储模式。上层利用Oracle实现航空发动机管理机制和基础数据的组织；底层利用HBase分布式文件系统实现对海量数据的高性能存储管理。这种结构可以实现航空发动机基础数据与监控数据的动态耦合，一定程度上实现了航空公司有效存储管理海量监控数据的需求。

1系统需求分析

飞机从起飞到降落，发动机各个参数由飞机状态监控系统（ACMS）的传感器实时测得并被编入发动机报，通过飞机通讯寻址与报告系统（ACARS）发往地面站。航空发动机的生产厂家（OEM）也会采用自己研制的发动机状态监控软件对ACARS数据进行处理，并将处理后的数据（OEM数据）发送给航空公司。目前这两类数据在航空公司的应用是比较广泛和成熟的，因此本研究专门针对民用航空发动机这两类数据设计一套海量数据存储和管理系统。该系统应具有如下功能：

a）定制解析协议解析发动机监控数据。如上所述，目前航空公司经常使用ACARS报文数据和OEM数据对发动机进行管理。但这两类数据原始形式并不能直接为工程师所用，必须采用专门的解析协议对其解析后方能使用。ACARS报文一般为txt格式文件，OEM数据一般为excel文档。

b）监控发动机参数中出现的不合理状况并给出报警信息。需要针对不同发位、不同班次的发动机进行监控并综合各方面的信息判断发动机当前状态。在报警功能中报警规则应能够根据工程师需求人工修改，并且报警历史应该被保存以供工程师日后查看。

c）为用户提供数据的图形化展示。该部分应该为用户提供包括数据图形展示、图形导出以及数据导出等功能。

d）保证工程师能及时检索到所需数据。系统中将对海量数据（亿级别以上）的检索速度应该控制在15秒以内。

2系统设计

针对航空公司有效存储管理发动机海量监控数据的迫切需求，本研究设计了一个基于HBase的民用航空发动机大数据管理系统。该系统可以分为四层，从下而上依次为数据层、业务逻辑层、表现层和客户层。

数据层使用关系型数据库和分布式文件系统构成两级存储模式