基于图数据库的物联网数据管理系统研究.docx

?

?

基于图数据库的物联网数据管理系统研究

?

?

贾睿

摘要：随着物联网深入应用到各行各业，各类型传感器时刻在产生大量的数据，占用大量存储空间。由于不同用户需要不同的数据服务和安全级别，复杂的业务规则需要灵活的数据访问机制，因此，如何存储、共享和隔离这些数据是物联网数据管理系统的主要挑战。文章设计基于图数据库的物联网数据管理系统，使用具有节点、边、属性的图形结构来存储和表示各个物联网实体及实体间关系，有效降低数据管理复杂度，保障数据安全性。

关键词：物联网;异构数据;图数据库

0引言

物联网被广泛应用于医疗保健，交通运输，智能家居和监控系统等众多日常应用中，并以前所未有的速度快速增长，预测到2022年物联网传感设备的数量将达到80亿[1]。物联网设备生成大量传感数据，将数据传输并存储在资源丰富的平台，对分析历史传感数据对于各种物联网应用的决策至关重要[2]。物联网数据特征如下：

（1）多源异构。物联网数据来自不同的传感设备，如环境设备、监控设备、养殖设备等，各种设备数据具有不同的属性和结构。

（2）规模庞大。物联网中有大量的传感设备，这些设备实时不间断的产生传感数据，对数据存储空间和性能有很高要求。

（3）时空关联。物联网数据具有时间和空间属性，用于描述时间和空间中对象状态的动态变化。

由于上述特征，存储和管理海量异构物联网数据具有挑战性，主要体现在数据存储模式应满足多源、异构、海量的物联网数据存储需求;分析物联网设备产生的事件数据和状态数据间复杂关联关系，发现海量数据间蕴含的共性和模式，挖掘深层次业务价值。

1相关工作

目前，已开展多项技术来研究海量异构物联网数据存储，主要分为：文件系统存储、关系型数据库存储、NoSQL数据库存储。

（1）文件系统存储：有许多研究使用文件系统作为物联网数据的存储介质[3]，将多个存储节点连接为整个文件系统，提供统一资源管理。存在的缺陷：仅提供基本存储和检索功能，海量数据的实时处理和存储性能不理想。

（2）关系数据库存储：目前，大多数物联网数据存储方案都基于关系数据库[4-5]，但通过简单地扩展关系数据库很难满足物联网海量数据存储和高效查询需求。

（3）NoSQL数据库存储：文献[6]以HBase作为数据库存储系统，对车辆GPS等传感器RowKey和列族的设计方法进行了描述，并进行可拓展性测试。

2基于图数据库的物联网数据管理系统

本文提出一种新的物联网数据管理系统，采用图数据库来存储和管理海量异构物联网数据，支持海量物联网数据的存储和高效查询，适应多种异构数据格式。其主要组件包括：

2.1MQTT代理服务

连接海量传感器，支持从传感器实时、安全、可靠地传输数据，也可以向传感器安全地发送指令，调整其运行方式和状态。

2.2数据处理服务

对传感器数据进行真实性和安全性验证，保证被存储的传感器数据是由经过认证、可靠的设备所发送的，避免不安全的数据进入存储空间;根据传感器数据特征，结合设备属性、传感器属性、时间属性等，形成存储操作语句。

2.3数据存储服务

采用图形數据库节点和属性来表示各种应用数据，用户节点包括用户ID、名称、邮箱、电话等;设备节点包括设备编号、名称、型号、描述等;传感器节点包括传感器编号、名称、数值类型等;业务节点包括业务名称、类别、描述、创建时间等;数据节点包括传感器数据、生成时间、存储时间等。

采用图形数据库边和方向来表示数据彼此间关系，主要包括用户设备关联、用户业务关联、设备传感器关联、业务传感器关联、传感器数据关联。当业务变化时，定位被影响的信息节点，构建关联调整指令，更新对应边结构。

3实验与结果

3.1数据架构

本系统采用Neo4j图形数据库作为物联网数据存储，设计了用户、设备、业务、传感器和数据等数据节点，并设计OWNS，CONTAINS，INCLUDES，STORES等关联关系。

本系统中，数据节点结构为Data（Value，Type，SensorCode，Timestamp，StorageTime），Timestamp属性表示存储时间戳，并用其进行时间维度的过滤和选择;传感器节点数据结构为Sensor（Code，Name，Description，Creator，CreateTime）;两者之间是一对多的关系，即一个传感器可以产生多条数据，但一条数据仅能属于一个传感器。Sensor和Data节点设计抽象提取物联网应用中核心属性，结合图数据库的键值对数据存储格式，能够很好地支持异构数据的扩展和存储。当产生新的异构数据时，仅需要调整数据节点属性，不会影响已有数据。

本系统采用设备从纵向维度对传感器进行分组管理，并设计一对多的CONTAINS关系来表示设备-传感器间关联。采用业务节点从横向维度对传感器进行管理，设计多对多的INCLUDES