图自监督学习的前沿进展:ENCO与AUTOSSL论文解析

释放双眼,带上耳机,听听看~!
本文对最新的图自监督学习领域的两篇重要论文进行了深入解析,包括ENCO对DAG因果图的学习和AUTOSSL在图自监督学习中的应用。

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

论文列表

目前找了录用的一些有关于Graph或者GNN的文章,先过一遍各个文章的摘要,然后再花时间对觉得比较重要或者有趣的文章进行详细阅读。

图自监督学习的前沿进展:ENCO与AUTOSSL论文解析

Paper 11

今天这篇文章不是GNN文章,但是和graph有关,其实是causal discvoery的文章,初入坑这个方向,下一个专题论文分享将会是causality相关的文章,今天碰巧先开个引子

图自监督学习的前沿进展:ENCO与AUTOSSL论文解析

摘要简介

  • 利用观测数据和干预数据来学习因果图模型是很多科学研究的基础。
  • 用连续优化来做score-based的方法虽然比较有前景,但是需要对无环或者收敛进行约束。
  • 提出了ENCO,对DAG因果图进行学习。
  • ENCO会独立的优化每条边的likelihood,并且边的方向也是一个变量。
  • 因此我们能够不依赖与无环的约束就能保证ENCO的收敛性。
  • ENCO能同时处理deterministic variables和发现潜在confounder,并且能有效地恢复具有数百个节点的图,比以前可能的要大一个数量级。

实验

图自监督学习的前沿进展:ENCO与AUTOSSL论文解析

图自监督学习的前沿进展:ENCO与AUTOSSL论文解析

Paper 12

图自监督学习的前沿进展:ENCO与AUTOSSL论文解析

摘要简介

  • 利用前置任务(pretext task)来进行图自监督学习很重要。
  • 通常都是用单一的pretex task,我们认为这样比较局限,应该找到很多pretext tasks来做。
  • 提出了AOTOSSL,利用“homophily”同质性,或者说“物以类聚”为原则,来高效地搜索pretext tasks。
  • 从理论和实验上来证明该框架的灵活性。
  • AUTOSSL相对于只利用单一pretext task的方法,在8个真实数据集上都取得了明显性能提升,包括图聚类和分类任务。

实验

提升看起来确实明显。
图自监督学习的前沿进展:ENCO与AUTOSSL论文解析
图自监督学习的前沿进展:ENCO与AUTOSSL论文解析

分析

相当于从图中挖掘了更多的feature。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

九天深度学习平台复现SSA-GAN

2023-12-2 10:32:14

AI教程

基于ESMM模型的CVR建模算法原理解析

2023-12-2 10:49:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索