智慧交通大数据平台建设方案x.docx

PAGE

PAGE100

智慧交通大数据平台建设方案

目录

智慧交通大数据及支撑平台方案 4

总体设计 4

系统概述 4

系统设计原则 5

系统框架 6

系统的实现技术 10

交通大数据采集子系统 10

前端采集技术 10

数据共享和交换平台 12

框架支撑平台 12

大数据资源整合存储子系统 39

基础交通数据 39

实时采集数据 68

实时计算数据 68

大数据清洗子系统 74

1.4.1 概述 74

1.4.2 数据清洗方法 79

大数据融合分析子系统 119

交通调查指标数据计算 119

交通运行指数计算 127

信号优化 133

基于大数据的OD分析 169

基于车辆识别的大数据套牌车分析 209

尾气排放分析 219

交通信息发布系统 225

统一消息服务子系统 230

1.6.1 概述 230

1.6.2 服务接口 231

三维GIS平台子系统 236

1.7.1 概述 236

三维系统平台介绍 239

三维地图模型设计与建设 241

系统规划和平台建设 252

存储规划 252

数据库规划 262

主机规划 268

云平台建设 271

大数据支撑平台系统的性能设计要求 282

系统的处理能力 282

系统的可用性 283

系统的安全性 283

智慧交通大数据及支撑平台方案

总体设计

系统概述

城市交通服务提供全面的路况，需要交通监测网对城市道路交通状况、交通流信息、交通违法行为等的全面监测，采集、处理及分析大量的实时监测数据，具有数据量巨大的特点；随着城市机动车保有量不断提高，城市道路交通状况日趋复杂化，交通流特性呈现随时间变化大、区域关联性强的特点，需要根据实时的交通流数据及时全面采集、处理和分析等，因此具有系统负载时变性高、波动大的特点应支持低延迟、高并发事务；公众出行服务对交通信息发布的时效性要求高，需将准确的信息及时提供给不同的需求主体，信息处理、分析时效性要求高，这给交通大数据支撑平台提出了挑战。

交通大数据支撑平台面对海量数据，系统不能仅依靠少数几台机器的升级满足数据量的增长，必须做到横向可扩展，既满足性能的要求，也满足存储的要求；由于服务需求的多样化，平台既要支持交通数据流的实时分析与处理又要支持复杂查询与深度分析所需的高性能、低延迟需求。平台需具有高度容错性，大数据的容错性要求在作业执行的过程中，一个参与节点失效不需要重做整个作业。另外平台应支持异构环境，交通大数据平台的建设是分步骤的，分阶段进行的。

大数据支撑平台囊括了城市交通运行的基本数据，大数据支撑平台系统的设计、实施，按照一切从实际出发，遵循经济实用的原则，对于整个城市交通运行状态检测的整个过程可以分为确定数据采集目标、采集数据、分析数据和功能实现四个阶段。

第一阶段，确定数据采集目标。目标就是监测的对象，首先要定义哪些对象是城市交通运行需要检测采集数据的，从社会经济、城市基础设施和人民生活等多个方面进行考虑。

第二阶段，采集数据。确定好城市交通运行需要检测采集的数据目标之后，可以从相关部门或者采用相关仪器设备及手段进行数据采集。

第三阶段，分析数据。城市交通运行特征处于“常态”和“非常态”，需要对采集的数据进行全方位的分析，由“常态”到“非常态”的一个动态过程，包括很多特殊情况的孕育、发展、扩大和爆发。通过对采集到的数据进行建模等方式来统计分析其诱发因素，以各相关管理部门、工作人员能迅速清晰掌握了解情况的方式进行展现。

第四阶段，功能实现。展示城市运行实时监测状况，显示各项数据分析结果，及多种系统功能。

交通大数据支撑平台应具有如下的特性：

高度可扩展性，横向大规模可扩展，大规模并行处理；

实时性，对交通数据流，事件的实时处理；

高性能、低延迟分析，快速响应复杂查询和深度分析、实时分析结果；

高度容错性，系统在硬件级、软件级实现容错；

可用性，系统具有相当高的可用性；

支持异构环境，对硬件平台一致性不高，适应能力强；

开放性、易用性，系统之间可实现数据共享，服务集成；

较低成本，较高的性价比。

系统设计原则

安全性原则

本系统要实现基于大型数据中心、强大信息处理环境和高速网络为一体，可为交通信息管理的获取、共享和处理服务，支持实时网上数据信息处理，支持协同工作及虚拟办公环境的新一代信息基础设施支撑平台。由于整个系统涉及大量的必威体育官网网址数据，而且部分数据共享基于网络环境，在设计过程中，必须考虑信息安全及必威体育官网网址措施，确保系统中的信息资源不被非法窃取和篡改，数据中心不被破坏，同时还要保证用户能够正常使用系统中的共享资源，提供应有的信息服务。为了确保该系统的安全性，在