动态多视角复杂3D人体行为数据库及行为识别-数据采集与处理.pdf

ISSN 1004⁃9037，CODENSCYCE4 http：// JournalofDataAcquisitionandProcessingVol.34，No.1，Jan. 2019，pp.68-79 E⁃mail：sjcj DOI：10.16337/j.1004⁃9037.2019.01.008 Tel/Fax：+86⁃025 ⒸⒸ 2019byJournalofDataAcquisitionandProcessing 动态多视角复杂3D人体行为数据库及行为识别 王永雄 李 璇 李梁华 （上海理工大学光电信息与计算机工程学院，上海，200093） 摘 要：提供了一个较大规模的基于RGB-D摄像机的人体复杂行为数据库DMV （Dynamicandmulti- view）action3D，从2个固定视角和一台移动机器人动态视角录制人体行为。数据库现有31个不同的行 为类，包括日常行为、交互行为和异常行为类等三大类动作，收集了超过620个行为视频约60万帧彩色 图像和深度图像，为机器人寻找最佳视角提供了可供验证的数据库。为验证数据集的可靠性和实用 性 ，本文采取 4 种方法进行人体行为识别 ，分别是基于关节点信息特征、基于卷积神经网络 （Convolutional neural networks，CNN）和条件随机场 （Conditional random field，CRF）结合的 CRFasRNN方法提取的彩色图像HOG3D特征，然后采用支持向量机（Supportvectormachine，SVM） 方法进行了人体行为识别；基于3维卷积网络（C3D）和3D 密集连接残差网络提取时空特征，通过 softmax层以预测动作标签。实验结果表明：DMVaction3D人体行为数据库由于场景多变、动作复杂等 特点，识别的难度也大幅增大。DMVaction3D数据集对于研究真实环境下的人体行为具有较大的优 势，为服务机器人识别真实环境下的人体行为提供了一个较佳的资源。 关键词：人体行为识别；3D数据库；多视角 中图分类号：TP181 文献标志码：A DynamicandMulti-viewComplicated 3DDatabaseofHumanActivityandActivity Recognition Wang Yongxiong, Li Xuan, Li Lianghua (SchoolofOptional-ElectricalandComputerEngineering,UniversityofShanghaiforScienceandTechnology,Shanghai,200093, China) Abstract：In view of the fact that the existing 3D databases have fewer behavioral categories，few interactionswithscenes，andsingleandfixedperspectives，thispaperprovidesalarge-scalehumanbody complexbehaviordatabaseDMVaction3DbasedonRGB-Dcameras，fromtwofixedperspectivesanda mobilerobotrecordshumanbehaviorfromadynamicperspective.Thereare 31 differentbehavioralclasses inthedatabase，includingdailybehaviors，interactionbehaviors，andabnormalbehaviorsangles.Validated database collected more than 620 behavioral videos，about 600 000 frames of color images and depth images，toproviderobotswithoptimalviewing. Inordertoverifythereliabilityandpracticabilityofthe data set，this paper adopts four methods for human behavior recognition，which are H