一种基于自驱动孪生采样和推理的视频问答方法 .pdf

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(10)申请公布号CN114218439A

(43)申请公布日2022.03.22

(21)申请号CN202111553547.0

(22)申请日2021.12.17

(71)申请人中山大学

地址510275广东省广州市海珠区新港西路135号

(72)发明人余伟江卢宇彤李孟非陈志广

(74)专利代理机构44367深圳市创富知识产权代理有限公司

代理人高冰

(51)Int.CI

G06F16/783

G06F16/78

G06F16/75

G06F16/71

G06F16/332

G06V20/40

G06V10/764

G06K9/62

G06N5/04

权利要求说明书说明书幅图

(54)发明名称

一种基于自驱动孪生采样和推理的

视频问答方法

(57)摘要

本发明公开了一种基于自驱动孪生

采样和推理的视频问答方法，所述方法包

括视频段采样、特征提取与推理策略，其

中，所述视频段采样通过稀疏采样得到基

准视频段以及通过孪生采样获得孪生视频

段；所述特征提取通过一视频编码器，一

文本编码器和一多模态将多个视频段‑文

本对编码成相应的语义特征表示；所述推

理策略通过使用孪生知识生成模块为视频

段生成提炼后的知识标签，并使用孪生知

识推理模块将这个标签传播给其所有孪生

样本并进行融合。本发明有益效果在于，

提出了此基于自驱动孪生采样和推理的框

架，并将其用于提取相同视频的不同视频

段中的上下文语义信息，用于增强网络的

学习效果。

法律状态

法律状态公告日法律状态信息法律状态

2022-03-22公开发明专利申请公布

实质审查的生效IPC(主分

类):G06F16/783专利申请

2022-04-08实质审查的生效

号:2021115535470申请

日

权利要求说明书

1.一种基于自驱动孪生采样和推理的视频问答方法,其特征在于,所述方法包括视频

段采样、特征提取与推理策略,其中,所述视频段采样通过稀疏采样得到基准视频段

以及通过孪生采样获得孪生视频段;所述特征提取通过一视频编码器,一文本编码器

和一多模态将多个视频段-文本对编码成相应的语义特征表示;所述推理策略通过使

用孪生知识生成模块为视频段生成提炼后的知识标签,并使用孪生知识推理模块将

这个标签传播给其所有孪生样本并进行融合。

2.根据权利要求1所述的基于自驱动孪生采样和推理的视频问答方法,其特征在于,

在所述视频段采样中,分别使用稀疏采样和孪生采样获得基准段和孪生段,并使用特

征提取模型分别提取出这些视频段的特征;在所述特征提取中,用孪生知识生成模块,

根据基准段和孪生段的特征,计算出视频内部的上下文特征;在所述推理策略中,使用

孪生知识推理模块,根据所述上下文特征,自适应地为视频段生成提炼后的软标签。

3.根据权利要求1或2所述的基于自驱动孪生采样和推理的视频问答方法,其特征在

于,所述孪生采样包括通过对视频样本F进行稀疏采样得到长度为B帧的视频段样

本;其中,F的长度大于B;以随机的方式