防生机器人课程报告(基于OpenNI 和 Kinect).docx

仿生机器人课程报告(基于OpenNI和Kinect)学 院： 信息科学与工程学院专 业： 控制科学与工程姓 名： 王自溟学 号： -----------指导老师： ----------- 第一部分：译文用Kinect的3D重建 Jan Smisek,Michal Jancosek 摘要：我们把Kinect相机作为3D测量设备来分析，试验性的研究深度测量分辨率和错误属性，并将Kinect与SLP相机和一个3D-TOF相机就立体重建的准确性做定量比较。我们提出了Kinect几何模型、Kinect相机的标定步骤和Kinect 3D测量的准确标定流程。我们展示了Kinect标定的功能-通过将它融入到一条SfMPipeline中，在这里从动态的Kinect相机获得的3D测量数据通过计算彩色相机中与之相匹配的位姿被变换到普通坐标系。引言Kinect相机正成为一种重要的3D传感器。他受到很多关注的主要原因是基于3D测量的人体姿态的识别系统的快速发展。最低成本，可靠性和测量速度允许使用Kinect作为室内机器人的主要3D测量设备，此外还可用到3D场景的重建和目标识别。 本文主要提出一种对Kinect相机的分析，设计它的几何模型，提出校正流程和显示它的功能。 最近提出的建立Kinect几何学模型，为理解这种传感器提供了一个基础。以下是相关的一些研究成果。Work[3]将OpenCV相机标定和Kinect视差测量模式相融合从而获得了基本的Kinect标定方法。但他没有研究Kinect传感器特殊的特性，没有对此进行调整。在深红外图像和深度图像有明显不同的ROS中也要进行同样的校正方法。该方法的一种变化出现在【8】中，这里μμOpenCV标定由Bouguet的标定工具盒代替。我们在先前工作的基础上设计了一种准确的基于考虑几何模型及基于考虑保留非模型错误的附加校正程序的学习。我们使用了所有相机模型和它们的标定流程，按【2】进行，Kinect视差和深度的关系如【4】，对深度和深红外图像的畸变校正按【11】，还增加了在标定纸板上训练例子的附加校正。我们展示了标定了的Kinect相机能够与运动构造合并起来从而在连续的坐标系统中得到3D数据,连续的坐标系统能够立体视觉建立观察场景的表面.我们的比较显示出Kinect相机在准确性上要比SR-4000 3D-TOF 相机要好，与中等像素的SLR 立体相机相当。我们的结果与【10】相一致，该文中提到了Kinect相机深度值可相容性的观察。Kinect相机由深红外发射器(IR),IR相机和RGB相机组成Fig 2. Kinect 与两个Nikon D60 SLR 相机 rig.Kinect作为一种3D测量设备Kinect是一种由IR发射器、IR相机组成，它们能够用来对空间点做三角测量。它能够作为一个深度相机和一个RGB相机使用。如图1.作为一个测量设备，Kinect相机有三个输出结果：IR图像，RGB图像和深度图像。IR图像IR(1280×1024像素，57×45度的视场FOV,6.1mm的焦距，像素尺寸为5.2μm)相机被用来观察和对IR发射模型向生成三角测量场景的过程解码。如果由一个卤素灯【16,19】合适的照射，而且IR发射器被阻挡，Fig 7(c,d)中,Kinect就可以用RGB相机的棋盘格模式来可靠的进行标定。在Tab2中国显示出相机的一些可忽略的径向和切向畸变。RGB图像RGB(1280×1024像素，63×50度的视场FOV,2.9mm的焦距，像素尺寸为2.8μm)相机传送中等质量图像。它能通过【2】中的方法标定，能通过SfM系统来追踪相机的移动。深度图形Kinect相机的主要原始输出是场景中相应的深度。它返回的是“逆深度”d,而不是实际的深度z.如Fig.3(a)。由于用Kinect相机能得到深度分辨率，我们采用在【3】中提出的模型Eqn.5。深度图像能经由来自IR图像和发射器的三角测量获得，所以它是由IR图像所附带。Kinect 逆深度作为真实深度的函数Kinect 深度量化步长 q(0-15 m)(c) Kinect 深度量化步长(0-5 m detail)深度分辨率 Fig.3(b,c)显示了深度分辨率作为衡量距离的功能。通过移动Kinect相机（0.5 m-15 m）以充分远离平面目标来获得大约在图像中心5度视场内的所有数值。量化的步长大小q是连续的记录值之间的距离，由他可以建立下面的方程：q(z) = 2.73 z2 + 0.74 z – 0.58[mm]. (1)z的单位：m.q的初值q(0.50m)=0.65mm,终值q(15.7m)=685 mm. IR 图像与深度图像之间的转换IR与depth图能进行转换。为了确定转换[uo,vo]T，需要