基于视觉感知的个性化图像检索.docxVIP

基于视觉感知的个性化图像检索摘要：本文提出了一个新方案名为基于视觉感知的个性化图像检索技术，其目的是通过直接感知用户的视觉信息来缩小语义鸿沟。它使用视觉注意力模型去分割图像区域和人眼跟踪技术记录注视点。通过分析注视点对注视感兴度进行测量来获取视觉感知。结合视觉感知技术和注意力模型去检测感兴区域（ROIs），提取和分析其特征，然后反馈兴趣区并使结果最优化，最后构建用户个性化文件。关键词：个性化图像检索；视觉感知；语义鸿沟；感兴区域（ROIs）1 介绍近年来，随着数字图像和互联网的快速发展，数字图像资源的急速膨胀刺激了大量应用于基于内容的图像检索（CBIR）领域中的研究活动。CBIR系统提取图像低层特征去索引图像，当用户查询它时就匹配相似的图像。其检索结果能体现出图像的客观性，然而，从图像的低层特征中提取高层语义是相当困难的。CBIR最挑战性的研究问题是怎样去处理低层图像特征和高层语义之间的巨大语义鸿沟。普遍的解决方法有相关反馈技术和基于感兴区域的检测。但是，它们都是主观的和耗时的。视觉信息能够客观性地解析高层语义和缩小语义鸿沟，在这方面具有很大的意义。基于视觉信息的图像检索能有效地解决存在的语义问题。当人们观看图像时，图像信息是从人类视觉系统（HSV）传达到大脑的。视觉感知是一个通过人眼运动和大脑分析后处理图像的过程。视觉感知可以描述为心理活动和生理反应。对于心理而言，感兴区域或对象可以通过用户的频繁注视来确定。人眼运动传达了大量关于人们基本心理过程的信息。用户的兴趣或语义能通过收集和分析人眼运动数据—视觉数据来获取，这是一个选择兴趣目标的过程。对于生理而言，人眼运动是一项生理反应，是受到图像视觉内容的影响和刺激的过程。人眼运动路径通过注意焦点（FOA），也就是图像中最容易注意到的对象来进行指引的。所以，ROIs能够判断出图像中最重要，最具代表性和最引起注意的对象或区域。测量ROIs的方法是运用视觉注意力模型。通过结合心理特征的视觉数据和生理反应的视觉注意力模型去感知人类视觉信息是一个捕捉用户查询意图或高层语义的新技术。2 基于视觉感知的个性化图像检索个性化图像检索的最终目标就是提供不同的服务和满足用户的兴趣，是下一代图像检索的热点和发展趋势。个性化图像检索的关键就是捕捉用户的兴趣来进行相关反馈并改善检索结果，这些兴趣区构建成用户的个性化文件来进行个性化滤除。视觉感知信息为用户提供精确的个性化感兴信息，不仅其内容客观性和丰富性，而且是自然的，高效的和透明的捕捉方法。所以，本文提出一个新方案为基于视觉感知的个性化图像检索技术，其目的是通过直接感知用户的视觉信息和客观地描述用户的语义来缩小语义鸿沟。本文提出的方案由两部分和四过程组成，一部分是视觉感知，包括对感兴度的估算和捕捉感兴区的过程。（1）估算感性度过程：使用视觉注意力模型去估算ROIs和分隔图像区域。（2）捕捉感兴过程：使用人眼跟踪技术去捕捉人眼运动数据或图像区域的注视数据，经过分析后测量区域——视觉感知信息的感性度。另一部分是个性化图像检索，包括反馈感兴区和收集感兴区的过程。（1）反馈感兴过程：使用视觉数据和注意力模型去捕捉反射用户语义的客观的ROIs，调整和分析ROIs的特征，然后测算出相关反馈的特征相关关系。（2）收集感兴过程：使用特征相关关系构建短期感兴向量和更新包括长期和短期的感兴向量的用户的图像文件。短期感兴作为历史特征向量来更新长期感兴向量。3 基于图像分割的视觉注意力模型注意力是心理概念，意味着当我们指向或集中某事物时就会出现心理特征。根据生物视觉的研究，首先引起注意的是视觉内容中特别的部分，也就是比它周围更突出的部分，然后根据人们的感兴进行选择性注意。视觉注意力模型是一个类生物模型来求出图像中最显著区域和以它作为一个灰度图像。因为人们经常更加注意那些他们所感兴的事物，所以注意力模型是一个合理的，有效的方法去估算ROIs。注意力模型的应用包括复杂场景目标有哪些信誉好的足球投注网站，图像压缩和图像检索。视觉注意力模型的结果是一个显著图，我们使用最显著点作为线索来识别ROIs，就是用区域生长技术提取图像中最显著点周围的区域。这些ROIs称为aROIs(检测ROIs算法)，即使用不同的图像处理算法，也许会跟实际的ROIs不一致。所以我们使用视觉注意力模型去分割图像，它是非监督的，无须用户参与的和根据生物注意力机制的模型。分割结果如图1所示。(a)显著图 (b)区域分割图1 使用视觉注意力模型分割区域4 基于人眼跟踪技术的ROIs检测人眼运动时根据用户对视觉图像内容的感兴度或刺激度而产生的，它是因人而异的。人眼运动可表示为注视点和扫视（构成的扫视路径）。人眼运动数据用人眼跟踪技术进行记录，被用于检测ROIs，它能通过分析人眼运动数据客观地测量出用户对图像的感兴度。所以基于人眼跟踪技术的RO