基于单目视觉的三维重建研究.pdfVIP

基于单目视觉的三维重建研究

摘要

从图像中进行三维重建能够更加完整地描述物体或场景所包含的结构信息，这种

基于视觉的三维重建方法已经在虚拟现实、视觉导航和工业自动化等领域得到广泛的

应用。目前可从双目或RGB-D等相机设备进行三维重建，但其存在价格昂贵且不宜随

身携带等问题。而从单目相机所拍摄的RGB图像中恢复物体或场景的三维模型，不仅

方便而且价格便宜，普通的手机相机即可满足要求。本文基于单目视觉进行三维重建

研究，主要从传统方法和深度学习方法两个角度进行三维重建，具体的研究内容包括：

首先，传统的基于多视图的单目视觉三维重建在图像预处理阶段主要使用SIFT算

法进行图像特征提取与匹配，其不仅速度慢，且特征匹配正确率一般。因此，本文参

照ORB算法结构，设计了一种改进SURF的特征提取与匹配算法，并在剔除误匹配点

上使用更加高效的PROSAC算法，以提高图像特征提取与匹配的速度以及正确率。并

进行实验验证了算法的有效性。

其次，构建了一种单目视觉的多视图三维重建方法。在图像预处理阶段，使用改

进SURF的特征提取与匹配算法。在点云重建阶段，初始时使用基础矩阵描述对极几

何原理，通过本质矩阵分解求解相机外参，并进行三角测量获得初始重建点云。随着

输入图像的增加，利用当前存在的重建点云通过PNP算法求解相机外参，并使用三角

测量进行点云重建。在误差最小化阶段，通过BA算法优化点云和相机位姿，以此提

高重建精度。并在公开数据集和实拍数据上展开重建研究，通过与SIFT和SURF算法

进行对比分析，证明了算法的有效性。

最后，设计了一种可变形卷积残差神经网络对输入图像进行特征提取，增强图像

当中的特征提取能力。在解码器网络中加入卷积注意力模块提升网络性能，并在编码

-解码器网络中引入跳跃连接，形成类似U-net的编码-解码器网络结构，最后通过上下

文感知模块生成最终的三维体素模型。并在ShapeNet数据集上进行实验，验证了在单

幅图像和多视角图像输入的情况下本文重建网络在重建质量上具有一定的提升。

关键词：三维重建；单目视觉；点云；体素；深度学习

基于单目视觉的三维重建研究

Abstract

Three-dimensionalreconstructionfromimagesprovidesamorecompletedescriptionof

thestructuralinformationcontainedinobjectsorscenes.Thisvision-based3Dreconstruction

approachhasbeenwidelyappliedinfieldssuchasvirtualreality,visualnavigation,and

industrialautomation.Currently,3Dreconstructioncanbeconductedusingbinocularor

RGB-Dcameras,butthesedevicesareoftenexpensiveandnotconvenientforportableuse.

However,recovering3DmodelofanobjectorscenefromRGBimagescapturedbya

monocularcameraisnotonlyconvenientbutalsocost-effective,withordinarysmartphone

camerasbeingsufficient.Thispaperfocusesonmonocularvision-basedreconstruction,

examiningbothtraditionalanddeeplearningmethodsfor3Dreconstruction.Thespecific

re