10基于视觉心理学的计算机视觉算法评价10基于视觉心理学的计算机视觉算法评价.doc

第七章 基于视觉心理学的计算机视觉算法评价 合适的评价标准与评价方法对科学的发展进步起着关键性的作用。计算机视觉中的许多问题与人的主观方面密切相关，如图像分割、图像物体识别、图像内容检索等等。所以对解决这些问题算法的评价也离不开人的主观参与。目前，几乎所有计算机视觉算法评价参考标准都是由人眼标定的。受教育、文化、信仰、习惯、性格等背景差异的影响，不同个体对同一视觉信息的标定存在差别。故完全客观进行视觉算法评价几乎是不可能的。视觉心理学的主要内容是发现主观的人类视觉系统中的客观规律。按照前面各章的讨论，这些规律能用于指导解决计算机问题，当然也是计算机视觉算法的理想参照。本章首先探讨为什么视觉心理学能用于计算机视觉算法评价，接着提出具体的评价方法，最后进行实例研究。 引言 计算机视觉算法评价(Performance characterization in computer vision)的任务是通过对算法的输出结果与理想的输出结果进行比较来发现哪些算法是最好的，以及其中的原因。在本章中，性能并不仅仅意味着算法运行有多快，而且要考察该算法对给定任务有多好。从上世纪70年代以来，学者们对此进行了广泛的研究，取得了一些重要的成果。这些研究工作基本上可分成三类：理论分析、实验评价与工程应用。 理论分析 1986年，Haralick R M郑重地提出了计算机视觉领域缺乏用来构建最优方法的完整理论体系[Haralick 1986]。同时，Price K撰文提出算法研究者应该遵从同一标准对提出的算法进行比较，这样才能为读者提供足够的引导以方便他们重用这些算法[Price 1986]。这是第一次，计算机视觉的研究者把目光投向了计算机视觉算法评价问题。在1994年，Haralick R M在[Haralick 1994(a)][Haralick 1994(b)]中标志性地发起一场关于计算机视觉算法评价的讨论。计算视觉领域的先驱人物Cinque L, Guerra C，Levialdi S [Cinque 1994], Weng J Y，Huang T S [Weng 1994], Meer P[Meer 1994], Shirai Y[Shirai 1994], Draper B A , Beveridge J R [Draper 1994]等纷纷撰文对此进行回应，进行了激烈辩论。最后一致认为，计算机视觉算法评价是极端重要的，同时也是非常困难的。他们也提出了一些解决视觉算法评价基本问题的方法与理论，如样本的选择、输入错误模型、错误传播估计、参考标准的获得、人的主观影响等等。1996年，Forstner W [Forstner 1996]讨论了计算机视觉算法评价中最具争论的10个问题，并最终认为这项工作是可行的，这使研究者们不再反对计算机视觉算法评价工作。2002年，Haralick R M进一步提出了模块化的评测方法(Modular methodology)[Thacker 2002]，它建立在成熟的统计方法学基础之上。然而，理论的评价一般使用数学方法进行分析，只能对简单的视觉算法有效[Heath 1997]，面对复杂的算法，我们不得不从实际图像出发，求助实验评价方法。 实验评价 尽管上世纪70年代，就有学者从事计算机视觉算法的实验评价，但直到90年代才大规模展开。有关这方面文章集中发表在会议专题或杂志专刊上。会议专题主要有：1996年的计算机算法性能刻画会议专题(Workshop on Performance Characterization，与ECCV-96联合)；1998年的计算视觉领域实验评价技术会议专题(Workshop on Empirical Evaluation Techniques in Computer Vision)；1998(与CVPR 98联合)，2000，2001，2002的计算机视觉领域实验评价方法会议专题(Workshop on Empirical Evaluation Methods in Computer Vision)；1999年的视觉系统性能刻画与评测会议专题(Workshop on Performance Characterization and Benchmarking of Vision Systems，与ICVS-99联合)；2000-2005每年一次的跟踪与监控的性能评价会议专题(Workshop on Performance Evaluation of Tracking and Surveillance)；国际会议Acvis 2005, Acvis 2006也设立了视觉算法性能评价专题。这方面的专刊主要包括：1998年计算机视觉与应用杂志(Journal of Machine Vision a