智慧交通大数据融合平台整体解决方案.docx

智慧交通大数据融合平台建设 目录 TOC \o 1-5 \h \z 1智慧交通大数据及支撑平台方案 5 1.1 总体设计 5 系统概述 5 系统设计原则 7 系统框架 8 系统的实现技术 13 1-2 交通大数据采集子系统 13 前端采集技术 14 数据共享和交换平台 15 框架支撑平台 16 1 -3 大数据资源整合存储子系统 49 基础交通数据 50 实时采集数据 105 实时计算数据 105 大数据清洗子系统 115 概述 115 数据清洗方法 123 大数据融合分析子系统 176 交通调查指标数据计算 177 交通运行指数计算 187 信号优化 197 基于大数据的OD分析 246 基于车辆识别的大数据套牌车分析 301 尾气排放分析 316 交通信息发布系统 325 统一消息服务子系统 334 概述 334 服务接口 335 三维GIS平台子系统 340 概述 340 三维系统平台介绍 344 三维地图模型设计与建设 347 系统规划和平台建设 362 存储规划 362 数据库规划 376 主机规划 385 云平台建设 390 大数据支撑平台系统的性能设计要求 404 系统的处理能力 404 系统的可用性 405 系统的安全性 405 2 大数据资源整合存储平台 408 基础交通数据 408 城市路网数据 409 公交线路数据 446 公交车辆数据 447 长途客运车数据 448 出租车数据 450 危化品车数据 451 共享单车数据 452 火车客运数据 453 民航客运数据 455 交通资产数据 456 出行需求数据 457 公路费用数据 460 气象数据 461 监控设备数据 461 追逃车辆数据 462 实时采集计算数据 462 城市交通运行数据 463 公交车实时位置数据 465 公交（地铁）卡刷卡数据 466 长途客车实时数据 467 出租车实时数据 467 危化品车实时数据 467 共享单车实时数据 468 路口通行量 469 套牌嫌疑车数据 469 基于车辆识别的OD分析数据 470 基于车辆识别的车辆数据 470 3大数据清洗子系统 47 3?7概述 472 数据清洗 472 缺失值处理 472 数据选择 473 数据变换 474 数据集成 475 数据削减 475 数据清洗评估 476 在交通领域的应用 477 3.2数据清洗方法 479 错误数据的判别和修正 479 丢失数据补齐 489 冗余数据简约 496 基于Hadoop的分布式数据清洗 501 1智慧交通大数据及支撑平台方案 1.1总体设计 1.1.1 系统概述 城市交通服务提供全面的路况，需要交通监测网对城市道路 交通状况、交通流 信息、交通违法行为等的全面监测，采集、处 理及分析大量的实时监测数据，具 有数据量巨大的特点；随着城 市机动车保有量不断提高，城市道路交通状况日趋复杂化，交通流特性呈现随时 间变化大、 区域尖联性强的特点，需要根据实时 的交通流数据及时全面采集、处理和分析等，因此具有系统负载 时变性高、波动 大的特点应支持低延迟、高并发事务；公众出行服务对交通信息发布的时效t生要求 高， 需将准确的信息及时提供 给不同的需求主体，信息处理、分析时效性要求高，这给交通大 数据支撑平台提出 了挑战。 交通大数据支撑平台面对海量数据，系统不能仅依靠少数几 台机器的升级满足数据量的增长， 必须做到横向可扩展，既满足 性能的要求，也满足存储的要求；由于服务需求的多样化，平台既要支持交通数据 流的实时分析与处理又要支持复杂查询与深度分析所需的高性能、低延迟需求。平 台需具有高度容错性，大数据的容错性要求在作业执行的过程中，一个参与节点失 效不需 要重做整个作业。另外平台应支持异构环境，交通大数据平台的 建设是分 步骤的，分阶段进行的。 大数据支撑平台囊括了城市交通运行的基本数据，大数据支撑平台系统的设 计、实施，按照一切从实际出发，遵循经济实用 的原则，对于整个城市交通运行状 态检测的整个过程可以分为确定数据采集目标、采集数据、分析数据和功能实现四 个阶段。 第一阶段，确定数据采集目标。目标就是监测的对象，首先要定义哪些对象是 城市交通运行需要检测采集数据的， 从社会经 济、城市基础设施和人民生活等多个方面进行考虑。 第二阶段，采集数据。确定好城市交通运行需要检测采集的数据目标之后，可 以从相尖部门或者采用相尖仪器设备及手段进行数据采集。 第三阶段，分析数据。城市交通运行特征处于“常态”和“非常态”，需要对 采集的数据进行全方位的分析，由“常态”到 “非常态”的一个动态过程，包括很多特殊情况的孕育、发展、扩大和爆发。通 过对采集到的数据进行建模等方式来统计分析