基于双目视觉与光流融合的无人机避障方法及系统 .pdfVIP

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(10)申请公布号CN106681353A

(43)申请公布日2017.05.17

(21)申请号CN201611069481.7

(22)申请日2016.11.29

(71)申请人南京航空航天大学

地址210016江苏省南京市秦淮区御道街29号

(72)发明人张天翼杨忠胡国雄韩家明张翔沈杨杨

(74)专利代理机构南京经纬专利商标代理有限公司

代理人姜慧勤

(51)Int.CI

G05D1/10

G06T7/70

G06T7/564

权利要求说明书说明书幅图

(54)发明名称

基于双目视觉与光流融合的无人机

避障方法及系统

(57)摘要

本发明公开了基于双目视觉与光流

融合的无人机避障方法及系统，该方法通

过机载双目摄像机实时获得图像信息；利

用图形处理器GPU获得图像深度信息；利

用获得的深度信息提取最具威胁障碍物的

几何轮廓信息并通过威胁深度模型计算其

威胁距离；通过对障碍物几何轮廓信息的

矩形拟合获得障碍物追踪窗口并计算出障

碍物所属区域的光流场以获得障碍物相对

于无人机的速度；飞控计算机根据计算出

的障碍物距离信息、几何轮廓信息和相对

速度信息发出规避飞行动作指令以躲避障

碍物。本发明将障碍物的深度信息与光流

矢量进行有效融合，实时获得障碍物相对

于无人机的运动信息，提高了无人机快速

视觉避障的能力，其实时性、准确性相较

于传统算法都有较大的提升。

法律状态

法律状态公告日法律状态信息法律状态

未缴年费专利权终止IPC(主分

类):G05D1/10专利

2022-11-08号:ZL2016110694817申请专利权的终止

日权公告

日

权利要求说明书

1.基于双目视觉与光流融合的无人机避障方法,其特征在于,包括如下步骤:

步骤1,利用双目摄像机获取无人机前进方向上的图像,并对图像做灰度变换;

步骤2,计算灰度变换后图像上各像素点的特征信息并进行立体匹配,得到无人机前

进方向上的深度图信息;

步骤3,将深度图中的深度值分为属于障碍物或属于背景的深度值两类,将深度图分

为障碍物区域和背景区域,将障碍物区域中闭合面积最大的轮廓作为障碍物轮廓,并

用矩形框对其进行拟合,得到障碍物追踪窗口作为障碍物的几何信息;

步骤4,利用稠密光流法计算障碍物追踪窗口滑动的速度矢量,得到该窗口在x,y方向

上的速度并根据速度判断下一帧图像障碍物追踪窗口的位置,将判断的位置与下一

帧实际计算出的障碍物追踪窗口位置进行比较,若两者之间的差值小于阈值,则进行

步骤5,否则,返回步骤1重新计算;

步骤5,利用深度威胁模型计算障碍物对于无人机的威胁深度值;

步骤6,将步骤3计算出的障碍物几何信息与步骤4计算出的障碍物速度信息从像素

坐标转化为世界坐标,并利用无人机的运动参数进行校正;

步骤7,将障碍物位置信息与步骤6得到的几何、速度信息发送至无人机的飞控计算

机中,飞控计算机根据上述信息控制无人机做出实时规避动作。

2.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法,其特征在于,步

骤1所述利用双目摄像机获取无人机前进方向上的图像的具体过程为:将双目摄像

机安装于无人机的机头部位,通过标定方法获得双目摄像机的内外参数矩阵及畸变

参数,利用双目摄像机获取无人机前进方向上的图像,并根据内外参数矩阵及畸变参

数对图像进行校正,得到无畸变且行对准的两幅图像。

3.根据权利要求1