网络多媒体杜慧勤第10章基于内容的多媒体信息检索.ppt

10.4 基于内容的音频检索 从音频数据中提取听觉特征信息 音频特征分为：听觉感知特征和听觉非感知特征(物理特性) 听觉感知特征包括响度、音调、音色等 剑桥大学的VMR系统 Video Mail Retrieval Using Voice http://mi.eng.cam.ac.uk/research/projects/ Video_Mail_Retrieval_Voice 音频处理较出色 美国Muscle fish公司基于内容的音频检索系统 Content-Based Retrieval of Audio /cbrdemo.html 较为完整的原型系统 对音频的检索和分类有较高的准确率 * * * * * 纹理描述方法 纹理描述方法 统计法 结构法 频谱法 灰度共生矩阵 Tamura的纹理描述参数 随机场模型 MRSAR 傅立叶变换 小波变换 纹理特征——Tamura纹理特征 基于对纹理的视觉感知心理学研究，Tamura纹理特征的6个分量： 粗糙度（coarseness）：the quality of being composed of relatively large particles 对比度（contrast） 方向度（directionality） 线像度（linelikeness） 规整度（regularity） 粗糙度（roughness）：the quality of being unpleasant (harsh or rough or grating) to the senses 在Tamura表示中的所有纹理性质都是有意义的，与人的主观感受比较吻合，这使得Tamura纹理表示在图象检索中非常具有吸引力。 形状是描述图像内容的一个重要特征：常与目标联系在一起，又有一定的语义含义，因而可以看作是比颜色或纹理更高层次的特征。 对形状的表达： 从本质上要复杂得多，常需要先对图像进行分割：无法做到准确和通用的自动图像分割，图像检索中的形状特征只能在特定应用场合使用。 利用特定领域知识可以从图像中分割出目标（物体或区域）。 10.2.4 图像形状特征的提取与表示 形状描述 形状描述方法 边缘描述 区域描述 关键在于边缘检测的研究 关键在于图像分割的研究 傅立叶描述符、小波描述符、不变矩等 基于形状特征的图像检索 基本原理 形状是刻划物体的本质特征之一。 可以针对面积 (可用像素点的个数计算 )、主轴方向、偏心率、圆形率、连通性、正切角等形状特征进行匹配。 颜色、纹理特征反映的是图像的整体特征，而无法体现图像中所包含的对象或物体。 复杂物体或物体间的关系有时成为图像检索的兴趣点。 10.2.5 图像空间关系特征的提取与表示 图像的目标关系 空间关系(如绝对位置和相对位置) 朝向关系(如上、下、左、右等) 拓扑关系(如相邻、覆盖、包含等) 结构关系 提取图像空间关系特征的方法 基于区域的图像检索 基于分块的图像检索 对图像进行自动分割 划分出图像中所包含的对象或颜色区域 索引 将图像划分为若干子块 对每个图像子块提取特征 索引 空间位置关系的讨论 空间关系描述包括基于目标的描述和基于关系的描述。 空间关系检索要解决空间关系的建模、表征、相似性量度等问题。 由于空间关系特征的模糊性、不确定性以及对自然语言描述的依赖性，因此基于空间关系的检索更复杂、更困难。 小结 视觉特征的提取是CBIR的基础。 仅仅靠单一特征很难完成图像内容的描述。 趋势：综合多个特征进行检索。 综合特性检索 目前，比较成功的基于内容的图像检索系统有： IBM公司的QBIC系统 MIT媒体实验室的Photobook系统 美国哥伦比亚大学的VisualSEEK系统 Virage公司开发的virage检索系统 香港公共图书馆的多媒体信息系统（MMIS） 基于内容的图像检索——典型系统介绍 IBM公司的QBIC系统 Query By Image Content / IBM Almaden研究中心开发的第一个商用的基于内容的图像及视频检索系统 提供对静止图像及视频信息基于内容的检索手段 系统结构及所用技术对后来的视频检索有深远的影响 MIT媒体实验室的Photobook系统 /vismod/demos/photobook/ 由MIT的媒体实验室开发研制 图像在存储时按人脸、形状或纹理特征自动分类 图像根据类别通过显著语义特征压缩编码 VisualSEEk系统 /ln/dvmm/researchProjects/ MultimediaIndexing/VisualSEEk/VisualSEEk.htm 美国哥伦比亚大学开发的图像查询系统 主要特点是用到了图像区域的空间关系查询和直接从压缩数