基于卷积神经网络的深度图像描述方法 .pdfVIP

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(10)申请公布号CN110347860A

(43)申请公布日2019.10.18

(21)申请号CN201910583139.6

(22)申请日2019.07.01

(71)申请人南京航空航天大学

地址210016江苏省南京市秦淮区御道街29号

(72)发明人张道强陈若煜

(74)专利代理机构江苏圣典律师事务所

代理人韩天宇

(51)Int.CI

权利要求说明书说明书幅图

(54)发明名称

基于卷积神经网络的深度图像描述

方法

(57)摘要

本发明公开了一种基于卷积神经网

络的深度图像描述方法，涉及计算机视觉

与自然语言处理的交叉领域，涉及图像处

理、自然语言理解、深度学习、机器学习

等技术领域，解决了以往基于长短时神经

网络的图像描述方法无法并行训练的问

题。同时，本发明能够更好地捕捉到生成

单词之间的长距依赖以及学习到如何自适

应地关注图像和语言特征。

法律状态

法律状态公告日法律状态信息法律状态

2019-11-12实质审查的生效实质审查的生效

2019-10-18公开公开

权利要求说明书

1.基于卷积神经网络的深度图像描述方法,其特征在于,包含以下步骤:

对MSCOCO训练数据集中的所有真实描述句子进行预处理,在所有真实描述句子的

首部添加起始标识单词,在所有真实描述句子的结尾添加结尾标识单词;记录所有出

现次数大于等于预设的第一次数阈值的单词,并将所有出现次数小于预设的第一次

数阈值的单词替换为未知标识单词;

为所有单词标记索引,形成词汇表,将所有真实描述句子用单词的索引表示,即“one-

hot”表示;

对于MSCOCO训练数据集中每一幅原始图像:

步骤1),将原始图像经过深度学习库的resize函数调整后,输入至预训练好的深度卷

积神经网络,得到原始图像的特征图表示;

使用深度学习库中的网络构建函数构建两层的全连接神经网络M

1

,将原始图像的特征图表示输入全连接神经网络M

1

中,得到原始图像的图像特征表示;

将原始图像图像特征表示经过深度学习库中的维度调整函数,将其由三维调整为二

维,得到调整过后的图像特征表示、记为m;

步骤2),使用深度学习库中的词嵌入网络构建函数构建词嵌入表示层,输入原始图像

对应的真实描述句子的“one-hot”表示,对真实描述句子中的每个词做词嵌入操作,得

到由词向量表示的真实描述句子的特征,记为x;

步骤3),使用深度学习库中的卷积网络构建函数构建一维卷积神经网络,输入真实描

述句子的特征x,并将一维卷积神经网络的前一半通道输入深度学习库的GLU函数

中,得到特征图s;将一维卷积神经网络的后一半通道输入深度学习库的GLU函数中,

得到特征图c;

步骤4),使用深度学习库中的线性网络层构建函数构建四个全连接神经网络M

2

、M

3

、M

4

、M

5

,将s分别输入全连接神经网络M

2

、M

3

、M

4

中,得到3个输出,记为q,k,v;

用深度学习库中的维度调整函数,将q,k,v调整为sent_len*d

1

*d

2

的张量,d

1

为预设的第一二维长度阈值,d

2

为预设的第一三维长度阈值;利用深度学习库中的矩阵相乘函数,将q和k的转置进

行乘积,并除以d

1

,得到d

1

个大小为sent_len*sent_len的张量后将其输入深度学习库中的softmax函数,对该张

量的最后一个维度做softmax操作,得到大小为d

1

*sent_len*sent_len的张量,将该结果标记为word_s