基于视频的人体行为分析算法研究-物理电子学专业论文.docx

国内图书分类号：TP391．4密级：公开国际图书分类号：621．38西南交通大学研究生学位论文焦级．2Q!Q姓名蒸型!江申请学位级别工堂盟±专业让箕狃廛旦撞苤指导老师堑强数援二零一四年十二月二十六日万方数据C：lassifiedIndex：TP391．4U．D．C：621．38SouthwestJiaotongUniversityDoctorDegreeDissertationRESEARCHONTHEALGORITHMSOFVIDEO．BASEDHUMANACTIONANALIYSISGrade：2010Candidate：PengXiaojiangAcademicDegreeAppliedfor：DoctorofEngineeringSpeciality：ComputerApplicationTechnologySupervisor：Prof．PengQiangDec．26，2014万方数据西南交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。本学位论文属于1．必威体育官网网址口，在年解密后适用本授权书；2．不必威体育官网网址。使用本授权书。(请在以上方框内打“√”)一虢粥小p指导老师签名：日期：∥盯．／--7．／6E1期：训旷、争．凡万方数据西南交通大学博士学位论文创新性声明本人郑重声明：所呈交的学位论文。是在导师指导下独立进行研究工作所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。本学位论文的主要创新点如下：1．在视频局部特征提取方面，提出了基于运动边界的密集轨迹采样策略。相对于传统的密集轨迹采样，该采样策略能够去除大量背景轨迹而保留大部分与行为主体相关的轨迹。另外，本文提出了时空3D共生的局部特征来描述密集轨迹，包括3D—CoHOG、3D—CoHOF和3D—CoMBH，并且为3D共生特征引入了三种多通道分解方法，大大提高了行为分类的精度。2．在行为视频表达方面，本文有三个贡献：首先，对视觉词袋模型及多特征融合在行为分类中进行了全面综述。和以往综述相比，本文对词袋模型的五个关键步骤都进行了联合评估并且对三种常见的特征融合策略进行了实验综述，为特征编码方法给出了通用的解释，最后为行为分类给出实用的建议；其次，本文提出了有监督的超向量特征编码方法并用于人体行为分类。该方法主要是在视觉词袋模型中为超向量型的特征编码方法加入了监督字典学习步骤，有效地提高了行为分类精度；最后，本文提出了一种堆叠的Fisher超向量特征编码方法并用于行为分类中，该方法效仿深度神经网络，在词袋模型的特征编码步骤引入了多层Fisher超向量编码，并在靠前的Fisher超向量层加入监督降维，实验证明该方法能有效提高行为分类性能。3．在行为相似性标记方面，本文首先利用现有的超向量特征编码方法得到视频表达，然后提出一种大间隔维度约减方法对超向量进行有监督的降维，最后利用SVM分类器判决行为视频对是否相似。实验证明，该降维方法有效地提高了行为相似性标记精度。jA．，学位论文作者签名：7^‘、1、{少日期：2／0盯‘午，／参万方数据西南交通大学博士研究生学位论文第i页摘要行为的分析和理解是人类社会交流中的一个本质内容。随着计算机硬件和软件的发展，人们已经有能力对一些可视的人体行为进行自动分析。目前，基于视频的人体行为自动分析已经成为了计算机视觉和多媒体邻域的一个研究热点，其主要原因是人体行为分析在人机交互、智能视频监控、基于内容的视频检索等领域中的潜在应用。然而，由于行为速度、拍摄视角、背景等的多样性以及行为本身定义的模糊性，基于视频的行为分析是一个极具挑战性的研究问题。基于视频的人体行为分析的关键在于如何对视频进行有效的表达。虽然已经有大量工作对视频表达进行了研究，但是人体行为分析仍然没有得到有效的解决。一般来说，人体行为分析包含人体行为识别或分类、人体行为检测和人体行为验证或相似性标记。本文以视频表达为研究核心，分别研究了人体行为识别和人体行为相似性标记，主要内容包括以下三方面：首先，研究了视频局部特征的提取以及特征描述。在视频局部特征提取方面，提出了基于运动边界的密集轨迹采样策略‘。相对于传统的密集轨迹采样，该采样策略能够去除大量背景轨迹而保留大部分与行为主体相关的轨迹。在特征描述方面，提出了时空3D共生的局部特征来描述密集轨迹，包括3D．CoHOG、3D．CoHOF和3D—CoMBH，