基于多视点视频的感知系统研究.pdf

基于多视点视频的感知系统 丁礼儒谈正仝晓敏 西安交通大学电信学院信息工程研究所，两安，710049 摘要：普适计算的目的是为了使计算机更好地服务人类。普适计算中的感知系统是普适计算 的核心研究技术之一。本文设计并实现了基于多路视频分析处理平台的感知系统：该平台实体， 结合lP组播技术和H332协议标准，具有图像同步采集、存储和实时传输功能；运用图模型 和最小切割酌方法快速得到了立体图像对的密集视差图，对应恢复空间点的深度信息，为后续 的定位感知，三堆重建和人物感知打下基础。 关键词：普适计算；感知系统；多视点视频；IP纽播；H．332协议；图模型；最小切割；密集 视差图 1．引言 计算机面世以来，计算技术的发展经历了几个阶段：从主机计算时代到微型计算机时 代：随后进入因特网和分布计算时代；当前以桌面机为主的网络计算又正朝着包括各种移 动设备和数字家电在内的普适计算方向发展。 Weiser在1991年提出l”。 普适计算(ubiquitous／pervasivecomputing)的思想由Mark 它的特点是服务设备无处不在，并已完全融入人们的日常生活中。普适计算的目的是充分 发挥计算机系统的功能，利用它们更好地为人们服务，极大提高人们的生活质量。 普适计算涉及多学科的合作。目前它主要包括感知技术、嵌入式系统、智能空间的计 算环境、计算设备的自互发操作等几个方面。 2．感知系统 感知系统是普适计算环境中的重要组成部分之一。它最大的特点就是无所不在的感 知。对环境的感知和对用户的感知是智能感知系统最主要的两个功能。 分析指出位置感知和形态感知是智能感知系统中最常用的两个基本功能。如何快速准 确地获得对象位置信息和形态信息，为用户积极主动地提供所需的各种服务，是这种系统 必须完成的功能。 选择视频作为感知系统传感器： 目前已经出现的几种可行的定位技术包括：低频射频(康斯坦斯大学开发的Mobile 们根据本试验室的技术特点和计算机视觉的研究目标，选择视频作为感知系统的主要传感 信号技术。 edu曲 联系作者：J礼儒，E-maihdingliru@realistqtu Ⅳ普适计算的典型应用系统 计算机视觉的研究目标是用计算机来模拟人的大脑完成理解和处理完整视觉信息的 过程，也即是使计算机具有通过一幅或多幅图像认知周围环境信息的能力。这种能力将不 仅使机器能感知环境中物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对 它们进行描述、存储、识别与理解。 基于视觉的感知是指利用视频对象的信息，详细定义用户感知和环境感知： 夺环境感知：由平面图像中的二维运动恢复出空问三维运动，空间位置分布、运动变 化等，可以应用到空间运动物体的跟踪，场景视觉智能监控等。 夺用户感知：对空间中的人进行位置检测，运动判别，用户身份识别、感情识别等。 本文实现的视频系统充分利用了计算机视觉成像优点，该系统结合IP组播技术和 H．332协议标准，具有图像同步采集、存储和实时传输功能，对空间多视角成像信息进行 数据融合，运用最小切割的方法快速得到立体图像对的密集视差图，对应恢复空间点的深 度信息实现定位感知和形态感知，下面我们将详细介绍我们的设计和实现过程。 3．基于多视点视频感知系统模型 3．1多数据源的图像传输和同步系统 本文实现的多数据源视频传输与同步，是基于Ethemet局域网IP组播技术的视频分析 平台(参见图1)，它参照H332协议标准，实现多终端之间视频数据的实时组播传输功能， 同步控制的存储功能，并能对多路视频序歹lj进行实时分析。 图1基于lP组播的多路视频平台实物图 多路视频(图像序列)的重要性： (1)计算三维运动参数时，克服了仅依靠单一角度视频序列中运动物体出现遮挡的 问题； (2)克服当运动物体朝向或远离单个摄像机镜头运动时会出现的运动视觉减退问题： (3)可以从立体图像对序列(stereoimagesequences)中对运动物体进行运动估计、运 动目标