Kinect-for-Windows-2.0入门介绍.ppt

初识Kinect 2010年，Kinect是微软推出的必威体育精装版的基于体感交互的人机交互设备。Kinect最初作为Xbox360游戏机的外接设备发布，利用即时动态追踪、影像识别、麦克风输入、语音识别等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体动作来控制游戏。 2012年，微软并没有将这一先进的技术局限在游戏行业，而是紧接着将Kinect技术推广到Windows平台，开发了Kinect for Windows，旨在鼓励众多开发者设计基于Kinect体感交互技术的应用，从而在各个行业领域里改变人们工作、生活和娱乐的方式。 2014年，微软发布第二代Kinect for Windows，从硬件上对第一代做了很大改进。 与此同时，Kinect for Windows SDK也在不断升级中。 第一代 SDK1.8 第二代 SDK 2.0 Public Preview Kinect 的最大创新之处 ——对人机交互方式的变革 Kinect v2 的“三只眼睛”和“四只耳朵” 三只眼睛：彩色摄像头、深度（红外）摄像头、红外线投影机 彩色摄像头：用于拍摄视角范围内的彩色视频图像。 红外投影机：主动投射近红外光谱，照射到粗糙物体、或是穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点（称为散斑），进而能被红外摄像头读取。 深度（红外）摄像头：分析红外光谱，创建可视范围内的人体、物体的深度图像。 坐标系映射转换AIP Kinect 高级功能 手势跟踪与识别 人脸识别 语音识别 3D建模：KinectFusion 第三方框架：Unity3D、MATLAB 、OpenCV 附属开发工具  手势跟踪与识别 Body ：Hand states 手势跟踪与识别 Body ：Hand states 两种基本属性：HandLeftState, HandRightState Unknown Not tracked Open Closed Lasso（半握拳） 两种置信度属性：HandLeftConfidence, HandRightConfidence High、Low 手势跟踪与识别目前只支持两个人 人脸识别 人脸识别 Body ：Activities, Appearance, Expressions Activities 面部活动 EyeLeftClosed EyeRightClosed MouthOpen MouthMoved LookingAway Appearance 外貌 WearingGlasses Expressions 表情 Happy Neutral 语音识别 基本功能：声源定位 采用四元线性麦克风阵列，4个麦克风从4个角度采集声源，经过音频处理后可以判断出声源的来源方向和大小。硬件设备灵敏度高，可以过滤背景噪声，对人的声音较敏感。 语音识别 基本功能：声源定位 采用四元线性麦克风阵列，4个麦克风从4个角度采集声源，经过音频处理后可以判断出声源的来源方向和大小。硬件设备灵敏度高，可以过滤背景噪声，对人的声音较敏感。 扩展功能：语言识别 安装相关插件和语言包：Speech Platform SDK v11、Speech Platform Runtime v11、K4W Language Models，可以根据已定义的语法识别出有限的词组或短语，然后根据语音指令控制应用程序。目前不支持汉语。 3D建模 - KinectFusion Kinect 传感器是一种RGB-D 传感器，即可以同时获得环境颜色值（RGB）和深度值（depth）的传感器。 KinectFusion 算法通过将Kinect 采集到的深度数据进行匹配定位与融合来实现3D场景重构。 KinectFusion V1算法流程： 深度数据处理，是将传感器原始的深度数据转换成3D点云，得到点云中顶点的3维坐标和法向量； 相机跟踪，是将当前帧3D 点云和由现有模型生成的预测的3D点云进行ICP(迭代最近点 )匹配，计算得到当前帧相机的位姿； 点云融合，是根据所计算出的当前相机位姿，使用TSDF点云融合算法将当前帧的3D 点云融合到现有模型中； 场景渲染，是使用光线跟踪的方法，根据现有模型和当前相机位姿预测出当前相机观察到的环境点云，一方面用于反馈给用户，另一方面提供给相机跟踪进行ICP 匹配。 第三方框架：Unity3D、MATLAB and OpenCV Unity3D是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。 微软的Kinect提供对Unity3D的支持。已经提供第三方工具包：Kinect.uni