使用多个微软Knect进行三维场景重建外文文献译文.doc

毕业设计外文文献翻译 院 系： 电气工程与自动化学院 年级专业： 11自动化 姓 名： 学 号： 附 件： 指导老师评语： 指导教师签名： 年 月 日 使用多个微软Kinect进行三维场景重建 摘要： 微软的Kinect是一款廉价的、用户友好的深度感应摄像机。通过使用深度信息和RGB图像，它将作为一个三维几何模型代表摄像头所看见的场景。在这篇论文中，我们探讨如何从kinect中获得有用的数据，以及如何使用它来建立一个三维几何模型。为了创建平滑的三维模型，我们通过开发和测试等方式改进了kinect的深度信息。我们使用OpenGL创建了一个RGB图像和深度值相结合的多边形模型。最后我们探讨了用两个kinect相结合的三维模型能够更好的代表场景的可能性。 简介： 场景重建是计算机视觉的研究领域，用视觉的形式输入，通常使用一个RGB相机输入，有时是多个RGB相机输入来重建一个三维几何模型。为了重建立体视觉，正常是使用至少两个相机来设置彼此的距离【4】。这是类似于大脑工作时从两只眼睛的图像来理解一个场景。 当微软的kinect作为一种廉价的深度感应摄像机，作为计算机视觉应用的一个伟大工具，它引起了研究人员的注意。Kinect通过发送红外线模式，利用结构光获取深度信息。这光一旦击中目标它就会反弹回来。Kinect采用红外传感器，以确定一个对象的距离。这是一种不同的估计距离的方法，在你尝试检测多个相同图像对象时，使用三角测量来估计深度。Kinect深度传感器，以及一个耦合的RGB相机能够确定RGB图像中特定像素的深度距离。 在本文中我们尝试使用计算机对kinect的深度数据和RGB数据进行收集。一旦我们有了数据，我们需要分析这些数据，以确定它是否可用于场景重建。虽然大多数数据是好的，但是我们在收集深度数据时发现了几个问题。结构光是不工作在一定的表面上的，可能不会返回连续相同的两次数据。同时在两个或者更多kinect种会有干扰，造成数据的错误。我们实施和测试的各种方法，试图减少在深度图像的误差量。例如我们使用平均时间中的像素平均值。我们发现，虽然这些方法观看的深度信息，当合成一个三维模型时，它们并不是原来的样子。 为了创建三维模型，我们决定在每个RGB输入图像中画一个多边形集合。对于Z值在同一个位置的RGB像素用一个多边形的顶点表示。这个结果很好，给我们一个基于深度的平滑模型。这些问题我们已经进行摄像机标定，对于多边形的对齐我们试图通过手动解决。这些多边形都是在由我们修复造成的深度误差。 下一步我们尝试结合手工平移和旋转两个kinect产生的模型。在场景在某些受限制的情况下我们让OpenGL处理多边形的碰撞。 本报告的其余部分安排如下：首先我们将提供硬件和软件的背景以及使用kinect的一些类似作品。接下来我们描述我们的方法和我们的发展道路，我们做了什么，以及不同方法的结果。最后是我们的结论和未来的工作。 背景和相关工作： 本节我们将讨论一些硬件、项目和kinect的工作。我们也看一些kinect项目，在第2.1节将介绍kinect是第一个“黑客”，以及它的一些功能。在2.2节中，我们将讨论PrimeSense公司、kinect软件、NITE和OpenNI。在2.3节，我们描述OpenKinect和LibFreenect。最后在2.4节中我们回顾类似kinect项目的现场重建。 2.1微软的kinect Kinect是一个除了xbox 360游戏控制台，允许完全的无控制器的运动控制器。它能够追踪六个人，虽然这局限于kinect看到的领域内。 Kinect有8位分辨率为640x480的VAG 彩色滤波摄像头，50%的绿，25%的红，25%的蓝，RGBG。也有11位640x480（632x480总是可用，8列没有数据）的深度数据，这允许多达2048水平的灵敏度。深度传感器由红外发射器和CMOS传感器组成。传感器有滤除环境光的过滤器，所以它在任何条件下都能工作。 该软件允许kinect追踪骨骼、关节以及每一个玩家的复杂识别。多手势绘制行动，可以创造手势在飞行。 2.2PrimeSense,NITE,and OpenNI Kinect技术是基于PrimeSense的方位摄像技术，它从连续的红外结构光获得三维场景。这种系统是使用一个基于图像的三维重建技术的变体统称为光编码技术。 PrimeSense发布开放源驱动程序和运动追踪软件叫做NITE。NITE被微软在kinect的特征和手势上作了参考。它就是所谓的自然交互。结合Primesense的传感器技术，它应用在了kinect上。 PrimeSense 也推出了OpenNI（开发的自然交互）的