《深度学习 》课件 第7章-图神经网络.pptx

7图神经网络

目录|CONTENTS图神经网络概述1图卷积神经网络2图循环网络3图注意力网络4

图神经网络概述1

1.1传统深度学习的局限性欧式空间数据的特点图像(网格结构)、文本(序列结构)、语音(时域信号)传统方法的不足?手工特征工程效率低(如PageRank仅利用结构信息)?CNN/RNN无法直接处理图结构数据非欧式空间数据的挑战?示例:社交网络(节点间关系复杂)、分子结构(拓扑不规则)、知识图谱(多关系图)?核心问题:如何建模不规则拓扑关系?如何聚合邻居信息?

1.2图数据与图神经网络的兴起图数据的定义与表示?图结构：节点（Node）、边（Edge）、邻接矩阵（AdjacencyMatrix）?属性图：节点特征（Feature）、边权重（Weight）GNN的核心目标?结合图结构信息与节点特征，学习节点/边/图的嵌入表示?解决任务：节点分类、链接预测、图分类、聚类GNN的优势对比传统方法：端到端学习、自动特征提取、可扩展性

1.3图神经网络的发展起源-早期探索Sperduti等人(1990s):将递归神经网络(RNN)应用于有向无环图(DAG)目标:图结构分类(图级任务)局限性:仅支持特定图结构(DAG),无法处理节点级任务RNN在图结构上的首次尝试如何建模任意拓扑图(循环图、异构图)?如何聚合邻居信息并学习节点表示?图数据分析的早期挑战

1.3图神经网络的发展起源-理论奠基-MarcoGori的突破性工作提出GNN概念（2005）：?突破RNN的DAG限制，支持任意拓扑图?支持节点级任务（如节点分类）?-FrancoScarselli的深化研究?核心贡献（2009）：基于巴拿赫不动点定理的迭代传播机制过程：通过多次迭代更新节点表示，直至收敛到稳定状态?特点：处理无向同构图（所有节点/边类型单一）示例图：社交网络（用户为节点，关注为边）?-早期GNN的局限性计算效率低（依赖不动点迭代）仅适用于静态同构图，难以扩展

1.3图神经网络的发展起源-?CNN的启发-卷积神经网络（CNN）的三大特征局部连接、权重共享、多层结构对图数据的启示：图是天然的局部连接结构共享权重降低计算成本（对比传统谱方法）分层特征提取适合层次化图数据-CNN的局限性仅适用于欧式数据（图像、文本）关键问题：无法定义图上的局部卷积核与池化算子示例对比：图像（规则网格）vs.社交网络（不规则拓扑）-新兴研究方向将CNN迁移到非欧式数据→?几何深度学习（GeometricDeepLearning）核心目标：设计图上的卷积操作（GCN）

1.3图神经网络的发展起源-图卷积神经的诞生图卷积神经网络（GCN）主要分为两大类：基于谱的方法和基于空间的方法。基于谱的方法（Spectral-based）：起源：Bruna等人（2013）利用谱图理论定义图卷积核心思想：在图频域进行信号滤波缺点：计算复杂，难以扩展基于空间的方法（Spatial-based）：起源：Micheli等人（2009）提出复合非递归层架构核心思想：通过邻居聚合直接定义局部操作优点：高效、可扩展?方法代表工作特点谱方法Bruna(2013)依赖图傅里叶变换，理论严谨但计算量大空间方法Micheli(2009)直接聚合邻居信息，灵活高效

1.4图神经网络的设计-寻找图结构结构性场景vs.非结构性场景显式图结构：分子结构（原子为节点，化学键为边）社交网络（用户为节点，关注关系为边）隐式图构建：文本处理：全连接词图（节点为词，边为共现关系）图像处理：场景图（物体为节点，空间/语义关系为边）关键问题如何建模非结构化数据中的潜在关系？案例：推荐系统中用户-商品交互图的构建

1.4图神经网络的设计-确定图类型与规模图类型的三维分类方向性：有向图（社交网络关注关系）vs.无向图（分子结构）同构性：同构图（单一节点/边类型）vs.异构图（电商网络：用户、商品、评论）动态性：静态图（知识图谱）vs.动态图（交通流量随时间的路网）图规模的影响小规模图（单GPU训练）vs.大规模图（分布式采样与训练）

1.4图神经网络的设计-设计损失函数根据任务类型设计损失-节点级任务：分类任务→交叉熵损失（如Cora论文分类）回归任务→均方误差（如房价预测）-边级任务：链接预测→二元交叉熵（如社交网络好友推荐）-图级任务：图分类→对比损失（如分子毒性分类）根据训练类型设计损失-监督学习：标注数据驱动（如节点分类）-半监督学习：直推式学习（仅预测训练图中的未标记节点）归纳式学习（泛化到新图，如GraphSAGE）-无监督学习：图自编码器→重构损失（如DeepGraphInfomax）

1.4图神经网络的设计-构建计算模块核心三大模块-传播模块：卷积算子（G