多视角深度学习-董勃.pdfVIP

ThenameoftheDepartment

BeijingForestStudio

部门名称

北京理工大学信息系统及安全对抗实验中心

多视角深度学习

硕士研究生董勃

2021年07月18日

背景简介

•预期收获

–1.理解多视角的基本概念

–2.了解多视角的应用条件

–3.熟悉多视角的常见应用

–4.了解多视角的优劣之处

–5.利用多视角的思维解决专业问题

2

背景介绍

•背景

–大多数科学数据分析问题中，需要从不同领域或从

各种特征中获得异构数据

–不同类型数据可以自然地划分为组，每个变量组被称为

特定的视角

•基本概念

–中文含义：从各种不同的角度进行观察同一事物

–深度学习含义：引入一个函数去模型化一个特定的视角，

并且利用相同输入的冗余视角去联合优化所有函数

•多视角来源

–多源：人物识别可以用脸、指纹等作为不同源的输入

–多特征子集：图像表示可以用颜色、文字作为不同的特征表述

3

基本概念

•算法分类

–协同训练：在未标记数据的两个不同视角下,轮流的

训练,使相互一致性最大化

–多核学习：利用对应不同视角的多个内核，并线性或

非线性地组合内核以提高学习性能

–子空间学习：假设当前视角来源于某个潜在空间，来

获取多个视角共享的潜在子空间

•算法原则

–共识准则

尽量保证先验知识一致

–互补准则

每个视角都拥有其他视角没有的信息

4

基本概念

•协同训练

–在未标记数据的两个不同视角下,轮流训练,使相互一致性最大化

1.已标注数据集L1，训练得到分类器F1；

2.已标注数据集L2，训练得到分类器F2；

3.F1对未标记数据U进行分类，取前K个置信度最高的数据及标签加入L2；

4.F2对未标记数据U进行分类，取前K个置信度最高的数据及标签加入L1；

5.重复步骤1-4，直到U为空集。

5

基本应用

基本思路

基本思路CNN多卷积核

•卷积核作用：局部感知野，信息混合

•多卷积核

–卷积核的权重随机初始化

–不同卷积核学到不同的特征

7

基本思路multi-headself-attention

•多头自注意力机制

–做法：多个独立self-attention计算，

然后进行集成

–作用：有助于网络从不同的特征子空间

捕获更丰富的特征