图神经网络(GNN)理论分析与改进方法解析

释放双眼,带上耳机,听听看~!
本文详细解析了两篇有关图神经网络(GNN)的理论分析与改进方法的论文,包括了对新提出的ESAN方法和MPNN的比较,以及实验结果的分析。

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

论文列表

目前找了录用的一些有关于Graph或者GNN的文章,先过一遍各个文章的摘要,然后再花时间对觉得比较重要或者有趣的文章进行详细阅读。

图神经网络(GNN)理论分析与改进方法解析

Paper 9:

图神经网络(GNN)理论分析与改进方法解析

摘要简介

  • 当下缺乏分析任意GNN的理论工具。
  • 我们提出了一个和WL一样可以区分graphs的方法来分析GNN。
  • 该方法基于一种procedural tensor language,相当于在语言层面上对GNN进行解析,进而对每一层GNN所需要的计算量进行分析,包括索引数量,求和的深度。
  • 我们用这种tensor language重新定义了k-MPNN(k order Message-Passing Neural Networks)。
  • 另外,可以用这种tensor语言来推导出多种GNN的universal approximation 的能力。
  • 用这个方法,无需知道WL-test的细节。
  • 我们还提供了一些如何增强GNN区分graphs的insights

实验

没有做实验,纯理论的文章。

分析

没有细看,全是新的定义和公式,我理解就是用一个过程语言去描述了GNN的推理过程。

Paper 10:

图神经网络(GNN)理论分析与改进方法解析

摘要简介

  • MPNNs因为其简单和可扩展性,在graph data上很受欢迎。
  • 但是其表达能力有也局限。
  • 提出了一个Equivariant Subgraph Aggregation Networks (ESAN)来解决。
  • MPNN有时候不能区别两个graph,虽然这两个graph的subgraph是有区别的。
  • 所以,可以基于预先设置好的一些策略来将一个graph表示为多个subgraph的集合
  • 提出了一个1-WL的变种,并在其上理论证明了ESAN的表达能力比MPNN好。
  • 理论证明了这些subgraph选择策略和equivariant neural 架构如何影响架构的表达能力。
  • 为了解决计算复杂度问题,提出了一个subgraph sampling的策略。
  • 真实数据和人工数据都表明我们这个方法好,并且可以提升很多GNN的性能。

架构

图神经网络(GNN)理论分析与改进方法解析

实验

也在OGB上比较了,拿了GIN最为底层GNN,然后套上新策略。

看起来方差比较大。
图神经网络(GNN)理论分析与改进方法解析
图神经网络(GNN)理论分析与改进方法解析

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

稳定扩散(Stable Diffusion)并不稳定?

2023-11-30 15:30:14

AI教程

美国国家科学院新晋院士名单公布

2023-11-30 15:42:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索