2022年，图机器学习Graph ML发展到哪了？.docxVIP

2022年，图机器学习Graph ML发展到哪了？ 原文链接：/graph-ml-in-2022-where-are-we-now-f7f8242599e0 对于 Graph ML 来说已经过去了一年：成千上万的论文，无数的会议和研讨会，如何赶上这么多很酷的进展？ 本文对 Graph ML 进行结构化分析，重点介绍热门趋势和重大进步。 01 Graph Transformers + Positional Features 虽然 GNN 在通常在稀疏的图上运行，但 Graph Transformers (GT) 在全连接图上运行，其中每个节点都连接到图中的每个其他节点。一方面，这带来了节点数 N 的 O(N2) 复杂度。另一方面，GT 不会遭受过度平滑，这是长距离消息传递的常见问题。(为什么不会过平滑？) 全连接图意味着我们有来自原始图的“真”边和从全连接变换添加的“假”边，我们想区分它们。更重要的是，我们需要一种方法来为节点注入一些位置特征，否则 GT 会落后于 GNN（如Dwivedi 和 Bresson的2020 年论文所示）。今年最引人注目的两个Graph Transformers可能是SAN（Spectral Attention Nets）和Graphormer。 SAN采用的top-k的拉普拉斯特征值和特征向量，其可以单独区分由1-WL测试考虑同构的图。SAN 将光谱特征与输入节点特征连接起来，在许多分子任务上优于稀疏 GNN。 Graphormer采用不同的方法主要在空域来搞。首先，节点特征考虑了中心性编码——可学习的入度和出度嵌入。然后，注意力机制有两个偏置项：(1) 节点i和j之间最短路径的距离；(2) 边特征编码，其取决于可用的最短路径之一。 ??Graphormer 完成了 2021 年 Graph ML 的大满贯：在 OGB大规模挑战和开放催化剂挑战的图回归任务中获得第一名！ ?? 开放性问题：可扩展性和计算开销。SAN 和 Graphormer 在分子任务上进行了评估，其中图相当小（平均 50-100 个节点），我们可以负担得起，例如，运行 O(N3) Floyd-Warshall 所有对最短路径。此外，Graph Transformers 仍然受到 O(N2) 注意力机制的限制。对于大图是不可接受的。您是否只是想到“Linear transformers from NLP”？?? 是的，他们可能会伸出援手，但由于其未实现注意力矩阵，因此需要找到一种聪明的方法将边特征置于此类模型中。当然，我们会在 2022 年看到更多关于这方面的研究！  02 Equivariant GNNs Geoffrey Hinton 承认其酷炫的等效性有何独特之处？ 一般来说，equivariance定义在某些变换组上，例如，3D 旋转形成 SO(3) 组，3 维特殊正交组。equivariance模型在 2021 年掀起了 ML 的风暴??，在 Graph ML 中，它在许多分子任务中尤其具有破坏性。应用于分子，Equivariant GNN 需要一个额外的节点特征输入——即分子物理坐标的一些表示，这些表示将在 n 维空间中旋转/反射/平移。 使用等变模型，尽管变换顺序不同，我们仍会达到相同的最终状态。 Satorras、Hoogeboom和Welling提出了EGNN、E(n)等变GNN，其与普通GNN的重要区别在于向消息传递和更新步骤添加物理坐标。等式 3 ??将相对平方距离与消息m相加，等式。4更新位置特征。EGNN在建模n体系统、作为自动编码器和量子化学任务（QM9数据集）方面显示出令人印象深刻的结果。 与普通GNN的重要区别：等式3和4在消息传递和更新步骤中添加了物理坐标。 另一种选择是在原子之间掺入角度。这可能需要将输入图转换为线性图，其中来自原始图的边变成线性图中的节点。这样，我们就可以将角度作为新图中的边缘特征。 03 Generative Models for Molecules 由于几何深度学习，整个药物发现 (DD) 领域在 2021 年得到了显着的推动??。DD 的众多关键挑战之一是生成具有所需属性的分子（图）。这个领域很大，所以我们只强调模型的三个分支。 规范化流程。Satorras、Hoogeboom等人应用上述等方差框架来创建E(n) 等变归一化流，能够生成具有位置和特征的 3D 分子?? 概率模型。Shi、Luo 等人研究了在给定 2D 图形的情况下生成 3D 构象异构体（即 3D 结构）的问题。模型ConfGF估计原子坐标对数密度的梯度场。这些字段是旋转平移等变的，作者想出了一种方法将这种等变属性合并到估计器中。Conformer 采样本身是通过退火动态采样完成的。 RL方法。以一种非常非