视频大数据技术在智慧城市中的应用.doc

视频大数据技术在智慧城市中的应用现代社会的信息量正以飞快的速度增长，这些信息里又积累着大量的数据。预计到2025年，每年产生的数据信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。我们需要对这些数据进行分析和处理，以获取更多有价值的信息。在未来的“智慧城市”中，会有越来越大的结构化以及非结构化的数据。那么我们如何高效地存储和管理这些数据，如何分析这些数据呢？答案是，我们需要强有力的大数据处理系统进行支撑。 作为目前最火热的词汇之一，大数据在各个领域都已有了较为成熟的应用。在视频监控领域，大数据时代正悄悄来临。在城市安全、交通管理中将部署大量的视频监控设备，这些视频监控设备将产生大量的视频及其相关的数据，如交通卡口数据达到十亿条甚至更大级别，人脸库数据量达到千万条甚至更大级别。针对如此大级别的数据量，当前系统会逐渐暴露出数据检索速度越来越慢；数据统计、分析效率越来越低等问题，这些问题都需要一个成熟的技术来解决。 随着“智慧城市”中城市安全、智慧交通等的迅速发展，城市中非结构化的数据量越来越大。视频大数据技术侧重帮助各类客户从日趋海量的非结构化视频数据中快速发掘高价值的信息，协助客户提升其决策的效率和精准度。因此，视频大数据的处理好坏成了客户关注的焦点，视频大数据的处理技术也成了厂家能力的体现。针对“智慧城市”建设中大量视频数据的快速检索、统计分析的需求，海康威视等视频领域的领军企业已有了成熟的视频大数据的解决方案，目前已应用多个“智慧城市”的建设中。 一、视频大数据平台技术 针对结构化或半结构化数据的数据量特别大的场景，大数据平台作为应用平台的支撑平台，提供海量数据的高效处理能力。通过大数据平台，应用能够对这些数据进行高效地存储、检索(秒级)、分析和统计，切实地提高效率，提升用户体验度。 视频大数据平台一般以分布式集群的方式进行建设，集群能够对数据处理进行负载均衡，同时，集群能够方便地进行扩展，能够通过增加集群节点来提升平台整体性能。数据存储需要考虑以下几个方面：一、哪些数据需要保存到视频大数据平台；二、如果对原有系统进行改造，原有系统中已存在的那些数据该如何处理；三、如何保证数据的可靠性。视频大数据平台采用分布式计算，同时结合内存加速、负载均衡、本地处理，提供高效的数据计算能力。 视频大数据处理系统，在应对视频大数据处理中的存储问题，采用了分布式存储方式，提高了读写速度，并扩大了存储容量；在应对视频大数据处理中的计算问题，采用分布式计算系统，提高了数据分析和挖掘能力。视频大数据处理系统总体架构如下图所示，包括资源层、平台层、应用层三个层次。 图1.视频大数据处理系统总体架构 资源层：包括IT基础资源、数据资源、视频资源等。能够产生、存储、处理海量数据的资源如过车数据、人脸数据、案事件数据等。 平台层：即视频大数据平台，包括数据存储、数据处理、数据迁移、集群管理等功能，同时为上层应用提供接口。视频大数据平台地位类似于数据库，但是它比数据库的处理能力要强大很多，可以对海量数据进行处理。 应用层：基于视频大数据平台提供的高效数据处理服务，行业应用平台(公安、交通、司法、能源、教育等)能够为用户提供海量数据的高效存储、检索、分析和统计等功能。 二、视频大数据技术在智慧交通中的应用 在智慧交通的道路交通应用中，卡口过车数据呈爆炸式增长。对于一个城市，每个卡口每天会经过成千上万辆车，假设一个城市有1000个卡口，每个卡口每天平均过车记录数为10000次，需要对一年内的数据进行处理，则过车记录总数为36.5亿。当卡口过车数据规模达到十亿级别甚至更大后，当前系统的运行速度越来越慢，过车信息检索、研判和分析的耗时越来越长，用户体验越来越差。使用传统的关系型数据库解决方案会使效率大大降低，或者在保证效率的情况下，会使软件、硬件投入成本大大增加，如采用小型机等。针对此类场景，可采用大数据技术，数据量特别大的过车数据由视频大数据平台来处理，视频大数据平台可提供足够大的内存和本地存储，同时，采用分布式计算，各节点并行进行计算，极大地提高数据处理的能力。视频大数据平台具有系统可靠、数据安全、数据处理能力高效、投入成本低、扩展能力强等特点。 交通卡口大数据应用设计如下图所示： 图2.交通卡口大数据应用示意图 交通卡口大数据应用的不同之处在于后端子系统的设计。传统方案中，只有一个智慧交通平台；而大数据方案中，智慧交通平台之下多了一个视频大数据平台，海量的过车数据存储于视频大数据平台中，大数据平台为上层平台提供海量数据的高效处理服务。以10亿条数据为例，在检索、研判和统计分析等应用中传统方案检索时间是分钟级，采用大数据技术检索时间可以达到秒级。基于视频大数据平台，智慧交通平台实现了高效的检索、分析、统计等功能，能够为用户提供更好的服务。以下是目