基于用户关注空间与注意力分析的视频精彩摘要与排序.pdf

第31卷第9期 计 算 机 学 报 v01．31No．9 2008年9月 CHINESE 0FCOMPUTERS Sept．2008 JOURNAL 基于用户关注空间与注意力分析的 视频精彩摘要与排序 黄庆明”’2’ 郑轶佳¨ 蒋树强2h” 高 文” 1’(中国科学院研究生院北京100190) 2’(中国科学院计算技术研究所北京100190) ∞(中国科学院智能信息处理重点实验室 北京 100190) ¨(北京大学信息科学与技术学院北京100871) 擒 要 文中提出一种基于用户关注空间与注意力分析的视频内容理解方法，该方法可以有效地获得多通道的视 频关注信息，并可使用户根据个性化需求定制视频关注内容，实现视频的高效浏览与访问．首先采用基于二叉层次 型结构与分类器选择的音频分类算法将视频中的主要声音类型分类，然后将视频中影响用户注意力的视觉、听觉、 时序因素定义为用户关注空间，分别使用相应的中层特征在这三个方面对用户注意力进行表示并计算其关注度， 从而在音视频底层特征与高层认知之间建立有机过渡．作者设计了顺序决策融合算法来融合视觉与听觉关注度， 生成关注度时序变化曲线并获得精彩摘要．最后使用支持向量回归模型并引入相关反馈机制来实现用户个性化的 精彩片段排序．该项工作的特点是通过建立符合人类认知规律的关注度模型并结合相关反馈技术，对视频内容进 行类人理解．实验证明，该方法对提取与生成符合用户个性化要求的视频摘要及排序结果具有良好的效果． 关键词用户关注空间；注意力分析l关注模型l音视频摘要；精彩排序 中图法分类号TP391 UserAttention BasedVideoSummarizationand Analysis HighlightRanking HUANG ZHENG GAOWen‘’ Qing—Min91’·∞ Yi—Jial’JIANGShu—Qian92’’3’ ”(Graduate Chinese 100190) Universityof AcademyofSciences。Beijing ”(Institute ofComputingTechnology，ChineseAcademyofSciences·Beijing100190) Sciences of Information Academyof t Beijing100190) ”(KeyLaboratoryIntelligent Processing．Chinese ”(SchoolElectronics and 100871) of EngineeringComputerScience。PekingUniversity，Beijing AbstractThis auserattention basedvideocontent paperproposes analysis understandingap— ofvideosandrankthem