红外与可见光图像实时配准融合系统.docx

第26卷第5期Vol.26No.52004年9月刘卫光等：红外与可见光图像实时配准融合系统Sep.2004第26卷第5期2004年9月红外技术InfraredTechnologyVol.26No.5Sep.2004红外与可见光图像实时配准融合系统*刘卫光1，郭师红2，周利华1（1.西安电子科技大学?多媒体研究所，陕西西安710071；2.西安建筑科技大学，陕西西安?710071）摘要：描述了一个自主研制的基于实时分布式多处理机的图像配准和融合系统的设计与实现方案。本系统是具有并行计算机体系结构的通用高速实时图像融合处理系统，选择VxWorks实时操作系统和VEM64x总线的软硬件平台，采用AD公司新型的TS101DSP处理器为核心，多DSP处理器分布并行进行处理，完成多源图像实时高速配准和融合需要进行的大量运算，CPLD芯片完成了采集控制以及多传感器视频同步。由于采用了基于高性能DSP的实时嵌入式系统和通用标准化总线结构设计,该系统可以灵活地应用多种配准和融合算法来实现可见光和红外双通道数字图像的高速实时融合处理,比较好地解决多尺度图像配准融合算法的大数据量计算处理与系统实时性要求之间的矛盾,为多传感器实时图像配准融合处理系统的研制奠定了良好的技术基础.关键词：图像配准；图像融合；实时操作系统；VME64x总线中图分类号：TP391.41引言文献标识码：A文章编号：1001-8891(2004)05-0066-06多传感器图像融合技术是在信息融合技术的理论基础上发展起来的一种图像处理新技术。由于可以有效综合多源图像信息的互补性和冗余性，因此融合图像包含比任一输入通道图像更丰富的信息，具有更高的可靠性，有利于提高对图像信息的分析和识别能力，所以近年来成为国际学术界图像处理研究领域的一个热点。融合技术将多源图像信息资源的利用率得以最大限度地发挥，图像配准是图像融合必须进行的预处理，多源图像配准和融合技术的理论研究已经取得了很多成果，但是可实用的图像融合系统目前还处于实验研究阶段。图像融合技术应用的突出障碍是实时性与处理速度。对于像素级融合，多源图像相关像素的配准结果直接影响融合图像质量，而基于最大相关和相位相关方法的图像配准方法，以及图像多尺度塔形分解与重构的多分辨图像融合算法的巨量数据处理又使得图像融合处理系统的研制开发具有相当高的难度。国外有关实时图像融合系统的报道甚少，国内的有关研究[1，7～9]局限于利用高性能数字信号处理器提高处理速度，针对特定的应用环境，设计专用的总线接口，通用性差，并未采用实时操作系统和高速总线的软硬件平台，从系统结构上保障实时图像融合处理的可靠性。我们提出并研制了双通道高速实时视频图像配准融合系统，其系统结构是基于VxWorks实时操作系统和VME64x总线的多DSP（TS101）分布式体系，具有实时﹑高速﹑通用﹑标准化的特点。本文在第二部分详细介绍基于VME64x总线和VxWorks操作系统的多DSP实时多源图像融合系统，第三部分给出了图像配准和融合算法，第四部分是实验结果和讨论。1系统构成和原理1.1技术参数分析根据融合系统技术参数要求实时完成双通道视频采集频率为50帧/s，每帧图像为256×256分辨率，经过A/D14位转换速率为10MHz，图像数据以10M字/s速率连续输出。图像数据量为：256×256×2＝131072字节。时钟信号10MHz，帧频信号每20ms有一脉冲，6.5536ms传送数据，空闲13.4464ms后，产生下一帧信号。这样系统总线传送速率应大于6.5536MB/s，DSP应在20ms内完成图像传送、融合处理，所以采用VME64x总线、VxWORKS操作系统、ADSP-TS101芯片来保证双图像的配准和融合。1.2系统组成图像配准融合系统硬件由图像采集、处理模块和系统管理/显示模块三部分组成，三个模块电路板通过*收稿日期：2003-12-29；陕西省科技攻关项目（编号:2003k05-G17）VME64x背板总线连接。前两模块自主设计，系统模块VMIC7750(PⅢ1G/512MRAM)和VME机箱(ELMA)是采购的标准化设备并可扩展。双输入通道模块采集视频数据并且进行拼接（双通道A/D14位数据组合成两个字节）通过VME总线写入处理模块的FIFO，由ADSP-TS101构成的数字图像处理模块设计为通用子系统,系统管理/显示控制板完成实时任务调度和结果显示。这样设计，处理模块相对独立，DSP芯片的选择范围宽，当更高性能的DSP芯片推出后，只需升级DSP处理板就可以进一步提高系统的图像处理能力。软件包括嵌入式实时操作系统VxWorks，应用程序包括实时任务管理调度，融合结果的显示，DSP完成的图像配准和融合算法。系统工作过程可简述为：从CCD摄像机和红外成像仪输入的模拟视