第8章-图像融合技术.ppt

END * * * * * * * * * * * * * * * * * * * * * * * * * * * 第8章 图像融合技术 主要内容 图像融合分类 图像融合算法 图像融合的评价标准 图像融合应用 第8章 图像融合技术 图像融合是指将一个或一个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，通过对多幅图像信息的提取与综合生成一个新的图像，该图像包含了从多个传感器获得的信息。图像融合可以减少图像信息的不确定性，获得对同一场景/目标的更为准确、全面、可靠的图像描述，进而实现图像增强、特征提取、去噪、目标识别与跟踪、三维重构等作用。应用于军事、医学成像、遥感、计算机视觉、气象预报、军事目标探测与识别等方面。 8.1 图像融合分类 8.2 图像融合算法-像素级融合 随着图像融合技术的发展，相继出现了许多不同的图像融合方法。这些方法注重图像不同方面的信息，例如一般的基本融合方法直接在空间域对图像进行融合，注重的是直观的灰度或彩色信息，而像Laplacian金字塔融合方法与小波融合方法注重的是图像频域信息。 8.2.1 基本图像融合算法 线性加权法 相关系数加权法 8.2.1 基本图像融合算法 图像代数法 主成分分析法（PCA） 8.2.1 基本图像融合算法 HIS变换法 HIS变换适合于分辨率不同的两个图像间的融合，两个图像间的分辨率差异为2~3倍时得到的融合图像的效果最佳，若相差太大，则应将高分辨率图像的分辨率通过插值方法降低。参与融合的图像若一个为多光谱、低分辨率图像，另一个为高分辨率图像，两者的融合可以兼取前者的多光谱和后者的高分辨率的优点，使融合图像成为一幅多光谱、高分辨率的图像。HIS变换的本质是原图像与替代图像的波段的加权结合。 先将待融合的多幅图像作RGB-HIS变换，然后对变换后的HIS进行平均加权，最后再进行HIS-RGB变换，得到融合图像。 基于小波分解的图像融合方法原理图 8.2.3 小波变换图像融合算法 对于图像处理，需要将连续小波变换与逆变换离散化，在此给出经典Mallat算法的离散形式 8.2.3 小波变换图像融合算法 图像融合 图像重构 8.2.3 小波变换图像融合算法 8.3 图像融合的评价标准 主观评价法（目视评价方法） 客观评价法 8.3.1 主观评价标准 非常严重妨碍观看 非常差 1分 对观看有妨碍 差 2分 清楚的看出图像质量变坏，对观看稍有妨碍 一般 3分 能看出图像变坏，但并不妨碍观看 好 4分 丝毫看不出图像质量变坏 非常好 5分 妨碍尺度 质量尺度 分数 主观评价尺度评分表 8.3.2 客观评价标准 基于信息量的评价 信息熵 交叉熵 互信息 8.3.2 客观评价标准  基于统计特性的评价 均值 标准差 均方根误差 8.3.2 客观评价标准 平均梯度 空间频率 其中 8.3.2 客观评价标准  基于信噪比的评价 信噪比 峰值信噪比 8.4 图像融合应用  本节对主要的融合算法在XAVIS系统中进行了实现，包括基本图像融合算法、金字塔融合算法和小波融合算法等，实现多光照、多聚焦、异质图像融合应用。 8.4.1 多光照图像融合 待融合图像A 待融合图像B 标准参考图像 线性加权 相关系数加权 图像代数算法 8.4.1 多光照图像融合 方法 熵 交叉熵 空间频率 平均误差 处理时间 线性加权法 （阈值=7、20） 4.46 0.78 27.08 18.9 235ms 相关系数加权法 （阈值=30） 4.28 0.72 27.02 10.6 375ms 图像代数算法 （阈值=80） 4.44 0.17 27.26 5.34 281ms 多光照图像融合方法的评价 8.4.1 多光照图像融合 Readimage(21.bmp,image); showimage(image); sleep(1000); Readimage(22.bmp,image1); showimage(image1); sleep(1000); TimerBegin(cccc); FixelFusionAver(image,image1,image2,7,20); //线性加权 TimerEnd(cccc,dddd)