Kinect+OpenNI学习笔记之(RobertWalter手部提取代码的分析).docVIP

　　前言 　　一般情况下,手势识别的第一步就是先手势定位,即手势所在部位的提取。本文是基于kinect来提取手势识别的，即 先通过kinect找出人体的轮廓，然后定位轮廓中与手部有关的点，在该点的周围提取出满足一定要求的区域，对该区域进行滤波后得到的区域就是手部了。然 后利用凸包和凹陷的数学几何方法，画出手指和手指凹陷处的点，以及手的轮廓线，并在图像中显示出来。文章所有代码都是网友Robert Walter提供的，它的代码下载网站为：/u/5505209/FingertipTuio3d.zip 　　本人因为要做这方面的研究，所有本文只是读了他的代码，并稍加分析了下。 　　开发环境：OpenNI+OpenCV ? 　实验说明 　　手势定位和提取功能的实现主要是依靠OpenNI和OpenCV的实现，定位部分依靠OpenNI的人体骨架跟踪功能，手部的提取依靠OpenCV中一些与轮廓有关的函数。整个实验的流程图如下： 　　 ? 　　手部提取时用到的几个OpenCV函数解释如下： 　　void?convexHull(InputArray?points, OutputArray?hull, bool?clockwise=false, bool?returnPoints=true?) 　　该函数的作用是找到输入点集points的凸包集合，参数1为输入的点集；参数2为是与输出凸包集合有关的，它是一 个向量，如果向量元素的类型为整型，则表示其为凸包集合的点在原始输入集合点的下标索引，如果向量的数据类型为Point型， 则表示其为凸包的点集；参数 3表示输出凸包集合的方向，为true时表示顺时针方向输出；参数4表示是否输出凸包的集合中的点坐标，这个只有在参数2的类型为Mat型的时候有效，如 果参数2为vector类型，则根据vector中元素类型来选择输出凸包到底是点的坐标还是原始输入点的索引，也就是说此时的参数4没有作用。? 　　void?convexityDefects(InputArray?contour, InputArray?convexhull, OutputArray?convexityDefects) 　　该函数的作用是对输入的轮廓contour，凸包集合来检测其轮廓的凸型缺陷，一个凸型缺陷结构体包括4个元素，缺陷起点坐标，缺陷终点坐标，缺陷中离凸包线距离最远的点的坐标，以及此时最远的距离。参数3即其输出的凸型缺陷结构体向量。 　　其凸型缺陷的示意图如下所示： 　　 ? 　　void?findContours(InputOutputArray?image, OutputArrayOfArrays?contours, OutputArray?hierarchy, int?mode, int?method, Point?offset=Point() 　　该函数是找到输入图像image的轮廓,存储在contours中。输入的图像类型必须要求是8位单通道的二值图 像，只要是非0元素都被看成是1，只要是0元素就被看做是0；参数hierarchy存储的是每个轮廓的拓扑信息，参数method表示轮廓提取的模式； 参数4表示轮廓提取的近似方法，即怎么保存轮廓信息；参数5表示轮廓可移动的位移。? 　　void *memcpy(void *dest, const void *src, size_t n); 　　该函数的作用是从源src所指的内存地址的起始位置开始拷贝n个字节到目标dest所指的内存地址的起始位置中，主要不要把源地址和目的地址的顺序搞反了。 ? 　　实验结果 　　在进行手部的提取时,因为要先提取出人体全身的骨骼,再定位手的坐标,所以人必须先处于站立状态,一旦人体骨骼提取成功后,可以改为坐立姿态,其手部提取并显示的一张图如下所示: 　　 ? 　　网友Robert Walter把它的演示视频放在这里:?/watch?v=lCuItHQEgEQfeature=player_embedded ? ? 　　实验主要部分代码和注释（参考资料中有工程代码下载地址）： main.cpp: #include SkeletonSensor.h // openCV #include opencv/highgui.h #include opencv/cv.h using namespace cv; #include iostream using namespace std; // globals SkeletonSensor* sensor; const unsigned int XRES = 640; const unsigned int YRES = 480; const float DEPTH_SCALE_FACTOR = 25