多人交互行为的分组检测及语义特征提取-信号与信息处理专业论文.docx

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 多人交互行为分析已逐渐成为模式识别研究领域内的一个新的关注点。现有的识别方法 大多数假设场景中只存在一种群体行为，而真实的场景中包含多种群体行为，为此本文提出 了一种在复杂场景下进行群体行为识别的有效方法，其中包括两个创新点：首先提出一种基 于 Split-Merge 策略的方法对人群进行分组；在人群分组后的基础上对人群提取语义特征，进 而通过构建结构化模型来实现最终的群体行为识别。 在人群分组阶段，本文将场景中的人用无向权值图直观的表示：图的顶点代表人，每两 个顶点之间的权值大小表示两个人之间的交互程度。对于静态和动态的个体，本文分别以社 会距离模型和社会力量模型为基础来量化两个人之间的交互程度，即得出两个顶点之间的权 值。之后本文将人群分组的问题转化为无向权值图的聚类问题，并提出了基于 Split-Merge 策 略的方法对无向权值图进行聚类，进而实现人群分组。 在行为识别阶段，本文首先对分组后的人群内部提取一种视角无关的语义特征，并提取 每个人群的运动特征和不同人群之间的语义特征。其次构建结构化模型，该模型把每个人群 内部的运动信息、语义信息，以及不同人群之间的语义信息考虑在内。最后本文使用割平面 优化算法学习模型参数，对于新的测试样本，使用一种贪婪算法进行推断。 本文提出的方法在 Coffee Break Dataset 和 Collective Activity Dataset 等数据集上的实验结 果表明了算法的稳定性和有效性。 关键词: 多人交互行为识别，结构化模型，语义特征，人群分组，Split-Merge，社会距离 模型，社会力量模型 I Abstract Collective activity recognition, as a complex, various and challenging topic, has gained more and more attention by many research agencies in computer vision. Most of the existing approaches treat collective activity recognition as a singular activity performed by most people visible in a scene. However, in many cases, there might exist more than one group in a scene and each group might exhibit a specific activity and serve as the context for each other in real-world scenarios. Based on this observation, this paper presents a novel and efficient framework for collective activity analysis: firstly we find out all the interacting groups in the scene, then we propose a novel group activity contextual descriptor, finally a structural model is utilized to jointly capture the group activity and its activity relationships with its