海量数据接收存储与查询技术在ITS中的应用研究.docx

海量数据接收存储与查询技术在ITS中的应用研究摘要：结合云南省“高速、高等级公路科技管控项目”，在分析不同类型前端道路交通监测系统设备产生的监测数据应用特点及处理要求的基础上，给出了监测数据接收存储与查询应用的总体结构，并对其应用方案进行了具体设计与实现，详细阐述了应用实现过程中的关键部分内容。该应用对云南省智能交通数据接入的标准化建设、数据的存储及查询应用提供了很好的范例，为云南省道路交通建设的发展奠定了扩展基础。关键词：智能交通；管控平台；云南交警；海量数据；接收存储；网络负载平衡；数据分区；查询优化引言近年来，随着云南经济的快速发展，全省道路建设步伐不断加快，机动车、驾驶员数量增长迅速，为了提高公安交通管理工作的科学化、现代化水平，缓解警力不足，加强和保障道路交通的安全、有序和畅通，减少道路交通违法和事故的发生，全省各地建设和使用了大量的“电子警察”、“高清卡口”、“固定式测速”、“区间测速”、“视频监控”等前端道路交通监测系统设备（以下简称监测设备）。但由于监测设备种类和生产厂家繁多，还没有一个统一的数据采集和交换标准，造成各类监测设备和管理软件混用的局面，给基层应用单位带来很多不便，同时各支队的监测设备大都采用本地的分布式管理，总队无法看到各支队的监测设备及数据信息，严重影响对全省交通监测的宏观管理。为了解决这些实际问题，从“科技强警”指导思想出发，结合当前的实际需要，云南省交警总队科技处组织建设了“高速、高等级公路科技管控项目”，其中智能交通管控平台实现了对前端道路交通监测系统设备的集成管理和控制应用。由于监测设备种类、数量多，监测数据量大，数据格式标准不统一，监测设备海量数据的标准化接收存储与查询应用成为该系统的关键之处。1 总体设计1.1监测数据应用特点及处理要求不同类型的监测设备监测的数据主要可分为：过车数据、违法数据、流量数据。过车数据记录车辆经过监测设备安装点位的信息，主要包括：号牌号码、号牌颜色、车辆类型、过车时间、过车地点等信息；违法数据是指当车辆被监测设备检测为交通违法时，记录的交通违法信息，主要包括：号牌号码、号牌颜色、车辆类型、违法类型、违法时间、违法地点等信息；流量数据记录经过监测设备的车辆数量的统计信息，主要包括：总过车数、大车过车数、小车过车数、平均速度、统计时间、统计时距等信息。为了有效的实现对监测数据的接收存储与查询等应用，分析总结出监测数据及应用的以下特点：（1）数据量大全省建设监测设备约有1000套，每套监测设备平均每天产生10000条数据，则每天接收的监测数据约为1000万条，并且是数据接收存储过程中，不能有任何数据的丢失，这对系统的数据接收存储设计是个巨大的考验。（2）数据格式不统一由于各类监测设备还没有统一的数据采集与交换标准，同一类型的不同厂家的监测设备产生的监测数据格式不统一，数据的标准化要求及接入的标准化工作是该项目的基础。（3）一个月内数据使用频繁监测数据的最基本应用是数据查询，根据交警业务的需求，数据查询的时间范围基本在一个月之内，要求快速响应交警提交的数据查询请求，这就要求系统对数据的存储及查询方案做最优化的设计。结合以上对监测数据及应用特点的分析，对监测数据的接收存储与查询应用设计要满足以下要求：（1）监测数据接收接口标准化（2）接收存储要求高效实时（3）监测数据存储合理设计（4）查询应用敏捷响应1.2总体结构系统根据监测数据的应用特点及数据处理要求，对海量监测数据的接收存储与查询应用进行合理设计，总体物理结构图如图1所示。主要包括监测数据上传系统、数据接收接口服务集群、服务端、客户端。图1 海量监测数据接收存储与查询应用物理结构图各厂家监测系统将监测设备采集的数据，经各自上传系统标准化处理之后，调用监测数据接收服务上传。监测数据接收服务接收不同类型的监测数据，并经过数据消息队列持久化处理，以防数据丢失。部署在应用服务器的入库服务实时调取数据消息队列中的数据进行批量入库。客户端访问Web服务器部署的管控平台应用，获取数据库中的监测数据。2 应用的具体实现系统的实现采用多层架构设计，监测数据的接收存储与查询应用可分为三层：数据层、应用层、Web层。海量监测数据的接收存储与查询应用逻辑架构图如图2所示。数据层主要提供监测数据的存储、数据的备份与恢复等服务。为了高效实现海量监测数据的存储管理，数据管理系统选用了大型关系数据库Oracle数据库，同时为了保证监测数据的安全性、完整性，数据的备份、恢复机制也是相当重要的。应用层提供系统运行的后台服务，主要包括数据接收服务、数据入库服务等。数据接收服务提供标准化服务接口，供不同的监测应用系统将监测设备数据上传到统一平台；同时监测数据入库程序实时调取接收的监测数据保存到Oracle数据库中。Web层为客户端提供管控平台应用程序