精彩的图表示自监督学习

一个精心策划的关于精彩的自监督图表示学习资源的列表。灵感来源于awesome-deep-vision, awesome-adversarial-machine-learning, awesome-deep-learning-papers, awesome-architecture-search和awesome-self-supervised-learning.

为什么选择自监督学习？

自监督学习已成为AI社区中一个令人兴奋的方向。

• Jitendra Malik：“监督是AI研究者的鸦片”
• Alyosha Efros：“AI革命不会被监督”
• Yann LeCun：“自监督学习是蛋糕，监督学习是蛋糕上的糖霜，强化学习是蛋糕上的樱桃”

目录

• 概述
• 训练策略
• 对比学习
  • 同尺度对比
    • 全局-全局对比
    • 上下文-上下文对比
    • 局部-局部对比
  • 跨尺度对比
    • 局部-全局对比
    • 局部-上下文对比
    • 上下文-全局对比
• 生成学习
  • 图自编码
  • 图自回归
• 预测学习
  • 节点属性预测
  • 基于上下文的预测
  • 自我训练
  • 基于领域知识的预测
• 方法详情总结
• 实现详情总结
• 常见图数据集总结
• 开源代码总结

概述

我们扩展了自监督学习的概念，该概念最初出现在计算机视觉和自然语言处理领域，提出了现有图数据SSL技术的及时和全面的回顾。具体来说，我们将现有的图SSL方法分为三类：对比学习、生成学习和预测学习，如下所示。

• 对比学习：通过不同的数据增强方法生成的视图进行对比。数据-数据对（跨数据）的差异和相同信息作为自监督信号。
• 生成学习：关注嵌入数据中的信息（数据内），通常基于重构等任务，利用数据本身的属性和结构作为自监督信号。
• 预测学习：通常通过一些简单的统计分析或专家知识自生成标签，设计基于自生成标签的预测任务，以处理数据标签关系。

训练策略

考虑瓶颈编码器、自监督任务和下游任务之间的关系，训练策略可以分为三类：预训练和微调（P&F）、联合学习（JL）和无监督表示学习（URL），其具体工作流程如下所示。

• 预训练和微调（P&F）：首先通过自监督任务预训练编码器的参数，然后将其用作有监督微调下游任务的初始参数。
• 联合学习（JL）：包括一个自监督的辅助任务以帮助学习有监督的下游任务。编码器同时被预训练任务和下游任务联合训练。
• 无监督表示学习（URL）：首先通过自监督任务对未标记的节点预训练编码器，然后将预训练的编码器参数冻结并用于有监督的下游任务。

对比学习

以下是对比学习的一般框架。对比的两个组件可以是局部的、上下文的或全局的，对应于图中节点级别（红色标记）、子图级别（绿色标记）或图级别（黄色标记）的信息。对比学习可以对比两个视图（在相同或不同尺度下），这导致了两类算法：（1）同尺度对比，包括*局部-局部（L-L）*对比、*上下文-上下文（C-C）对比和全局-全局（G-G）对比；（2）跨尺度对比，包括局部-上下文（L-C）*对比、*局部-全局（L-G）对比和上下文-全局（C-G）*对比。

全局-全局对比

• GraphCL：通过增强进行图对比学习。
  • Y. You, T. Chen, Y. Sui, T. Chen, Z. Wang, 和 Y. Shen. NIPS 2020. [pdf] [code]
• IGSD：迭代图自蒸馏。
  • H. Zhang, S. Lin, W. Liu, P. Zhou, J. Tang, X. Arxiv 2020. [pdf]
• DACL：面向领域不可知对比学习。
  • V. Verma, M.-T. Luong, K. Kawaguchi, H. Pham, 和 Q. V. Le. Arxiv 2020. [pdf]
• LCC：基于标签对比编码的图神经网络用于图分类。
  • Y. Ren, J. Bai, 和 J. Zhang. Arxiv 2021. [pdf] [code]
• CCGL：对比级联图学习。
  • X. Xu, F. Zhou, K. Zhang, 和 S. Liu. TKDE 2022. [pdf] [code]
• CSSL：用于图分类的自监督对比学习。
  • J. Zeng 和 P. Xie. Arxiv 2020. [pdf]

上下文-上下文对比

• GCC：用于图神经网络预训练的图对比编码。
  • J. Qiu, Q. Chen, Y. Dong, J. Zhang, H. Yang, M. Ding, K. Wang, 和 J. Tang. KDD 2020. [pdf] [code]

局部-局部对比

• CDNMF: 用于社区检测的对比深度非负矩阵分解。
  • Y. Li, J. Chen, C. Chen, L. Yang, Z. Zheng. ICASSP 2024. [pdf] [code]
• GRACE: 深度图对比表示学习。
  • Y. Zhu, Y. Xu, F. Yu, Q. Liu, S. Wu, and L. Wang. Arxiv 2020. [pdf] [code]
• GCA: 具有自适应增强的图对比学习。
  • Y. Zhu, Y. Xu, F. Yu, Q. Liu, S. Wu, and L. Wang. Arxiv 2020. [pdf] [code]
• GROC: 走向鲁棒图对比学习。
  • N. Jovanovi´c, Z. Meng, L. Faber, and R. Wattenhofer. Arxiv 2021. [pdf]
• SEPT: 社交感知自监督三重训练推荐。
  • J. Yu, H. Yin, M. Gao, X. Xia, X. Zhang, and N. Q. V.Hung. Arxiv 2021. [pdf] [code]
• STDGI: 时空深度图Infomax。
  • F. L. Opolka, A. Solomon, C. Cangea, P. Veliˇckovi´c, P. Li` o, and R. D. Hjelm. Arxiv 2019. [pdf]
• GMI: 通过图形互信息最大化的图表示学习。
  • L. Yu, S. Pei, C. Zhang, L. Ding, J. Zhou, L. Li, and X. Zhang. WWW 2020. [pdf] [code]
• KS2L: 自监督平滑图神经网络。
  • L. Yu, S. Pei, C. Zhang, L. Ding, J. Zhou, L. Li, and X. Zhang. Arxiv 2020. [pdf]
• CG3: 对比生成的图卷积网络用于基于图的半监督学习。
  • S. Wan, S. Pan, J. Yang, and C. Gong. Arxiv 2020. [pdf]
• BGRL: 图上的引导表示学习。
  • S. Thakoor, C. Tallec, M. G. Azar, R. Munos, P. Veliˇckovi´c, and M. Valko. Arxiv 2021. [pdf][code]
• SelfGNN: 无显性负采样的自监督图神经网络。
  • Z. T. Kefato and S. Girdzijauskas. Arxiv 2021. [pdf] [code]
• HeCo: 具有共对比学习的自监督异构图神经网络。
  • X. Wang, N. Liu, H. Han, and C. Shi. Arxiv 2021. [pdf] [code]
• PT-DGNN: 动态图神经网络的预训练。
  • J. Zhang, K. Chen, and Y. Wang. Arxiv 2021. [pdf] [code]
• COAD: 用敌对微调的对比预训练用于零样本专家链接。
  • B. Chen, J. Zhang, X. Zhang, X. Tang, L. Cai, H. Chen, C. Li, P. Zhang, and J. Tang. Arxiv 2020. [pdf] [code]
• Contrast-Reg: 通过对比正则化提高图表示学习。
  • K. Ma, H. Yang, H. Yang, T. Jin, P. Chen, Y. Chen, B. F. Kamhoua, and J. Cheng. Arxiv 2021. [pdf]
• C-SWM: 结构化世界模型的对比学习。
  • T. Kipf, E. van der Pol, and M. Welling. *Arxiv 2019. [pdf] [code]

本地-全球对比

• DGI: 深度图Infomax。
  • P. Velickovic, W. Fedus, W. L. Hamilton, P. Li` o, Y. Bengio, and R. D. Hjelm. ICLR 2019. [pdf] [code]
• HDMI: 高阶深度多路Infomax。
  • B. Jing, C. Park, and H. Tong. Arxiv 2021. [pdf]
• DMGI: 无监督的属性多路网络嵌入。
  • C. Park, D. Kim, J. Han, and H. Yu. AAAI 2020. [pdf] [code]
• MVGRL: 基于图的对比多视图表示学习。
  • K. Hassani and A. H. K. Ahmadi. ICML 2020. [pdf] [code]
• HDGI: 异构深度图Infomax。
  • Y. Ren, B. Liu, C. Huang, P. Dai, L. Bo, and J. Zhang. Arxiv 2019. [pdf] [code]

本地-上下文对比

• CDNMF: 用于社区检测的对比深度非负矩阵分解。
  • Y. Li, J. Chen, C. Chen, L. Yang, Z. Zheng. ICASSP 2024. [pdf] [code]
• Subg-Con: 子图对比，用于可扩展的自监督图表示学习。
  • Y. Jiao, Y. Xiong, J. Zhang, Y. Zhang, T. Zhang, and Y. Zhu. Arxiv 2020. [pdf] [code]
• Cotext Prediction: 图神经网络预训练策略。
  • W. Hu, B. Liu, J. Gomes, M. Zitnik, P. Liang, V. S. Pande, and J. Leskovec. ICLR 2020. [pdf] [code]
• GIC: 利用集群级节点信息进行无监督的图表示学习。
  • C. Mavromatis and G. Karypis. Arxiv 2020. [pdf] [code]
• GraphLoG: 具有局部和全局结构的自监督图级表示学习。
  • M. Xu, H. Wang, B. Ni, H. Guo, and J. Tang. OpenReview 2021. [pdf] [code]
• MHCN: 用于社交推荐的自监督多通道超图卷积网络。
  • J. Yu, H. Yin, J. Li, Q. Wang, N. Q. V. Hung, and X. Zhang. Arxiv 2021. [pdf] [code]
• EGI: 通过 ego 图信息最大化进行图神经网络的迁移学习。
  • Q. Zhu, Y. Xu, H.Wang, C. Zhang, J. Han, and C. Yang. Arxiv 2020. [pdf] [code]

上下文-全局对比

• MICRO-Graph: 基于模体驱动的图表示对比学习。
  • S. Zhang, Z. Hu, A. Subramonian, and Y. Sun. Arxiv 2020. [pdf] [code]
• InfoGraph: 通过互信息最大化进行无监督和半监督的图级表示学习。
  • F. Sun, J. Hoffmann, V. Verma, and J. Tang. ICLR 2020. [pdf] [code]
• SUGAR: 具有强化池化和自监督互信息机制的子图神经网络。
  • Q. Sun, H. Peng, J. Li, J. Wu, Y. Ning, P. S. Yu, and L. He. Arxiv 2021. [pdf] [code]
• BiGI: 通过互信息最大化的二分图嵌入。
  • J. Cao, X. Lin, S. Guo, L. Liu, T. Liu, and B. Wang. WSDM 2021. [pdf] [code]
• HTC: 通过互信息最大化的子图集成聚合的图表示学习。
  • C. Wang and Z. Liu. Arxiv 2021. [pdf]
• DITNet: 通过子结构对比的图表示学习进行药物靶点预测。
  • S. Cheng, L. Zhang, B. Jin, Q. Zhang, and X. Lu. Preprints 2021. [pdf] [code]

图自动编码

• CDNMF: 用于社区检测的对比深度非负矩阵因子分解。
  • Y. Li, J. Chen, C. Chen, L. Yang, Z. Zheng. ICASSP 2024. [pdf] [code]
• GraphMAE: 自监督掩码图自动编码器
  • Z. Hou, X. Liu, Y. Cen, Y. Dong, H. Yang, C. Wang, and J. Tang. KDD 2022 [pdf] [code]
• 图完成：自监督何时有助于图卷积网络？
  • Y. You, T. Chen, Z. Wang, and Y. Shen. PMLR 2020. [pdf] [code]
• 节点属性掩码：图上的自监督学习：深刻见解和新方向。
  • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
• 边属性掩码：图神经网络的预训练策略。
  • W. Hu, B. Liu, J. Gomes, M. Zitnik, P. Liang, V. S. Pande, and J. Leskovec. ICLR 2020. [pdf] [code]
• 节点属性和嵌入降噪：具有多个自监督辅助任务的基于图的神经网络模型。
  • F. Manessi and A. Rozza. Arxiv 2020. [pdf]
• 邻接矩阵重建：图卷积网络的自监督训练。
  • Q. Zhu, B. Du, and P. Yan. Arxiv 2020. [pdf]
• Graph Bert: 仅需要注意力即可学习图表示。
  • J. Zhang, H. Zhang, C. Xia, and L. Sun. Arxiv 2020. [pdf] [code]
• Pretrain-Recsys: 用于冷启动用户和项目表示的图神经网络预训练。
  • B. Hao, J. Zhang, H. Yin, C. Li, and H. Chen. WSDM 2021. [pdf] [code]
• SLAPS: 自监督改进图神经网络的结构学习。
  • B. Fatemi, L. E. Asri, and S. M. Kazemi. Arxiv 2021. [pdf] [code]
• G-BERT: 用于药物推荐的图增强变压器预训练。
  • J. Shang, T. Ma, C. Xiao, and J. Sun. Arxiv 2019. [pdf] [code]

图自回归

• GPT-GNN: 图神经网络的生成预训练。
  • Z. Hu, Y. Dong, K. Wang, K. Chang, and Y. Sun. KDD 2020. [pdf] [code]

预测学习

下图展示了预测学习的比较。预测方法通常从图数据中自生成标签，然后基于自生成标签设计预测任务。根据标签如何获得，我们将图数据的预测学习方法总结为四类：

• 节点属性预测：预先计算节点属性，如节点度，并将其用作自监督标签。
• 基于上下文的预测：图中的局部或全局上下文信息，如节点间的最短路径长度，可以提取为标签以帮助自监督学习。
• 自训练：应用算法如无监督聚类获得伪标签，然后根据预测结果或损失更新前一阶段的伪标签集。
• 基于领域知识的预测：使用领域知识，如专家知识或专用工具，预先获得信息量高的标签。

节点属性预测

• 节点属性预测：图上的自监督学习：深刻见解和新方向。
  • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]

基于上下文的预测

• S2GRL: 通过全局上下文预测进行自监督图表示学习。
  • Z. Peng, Y. Dong, M. Luo, X.-M. Wu, and Q. Zheng. Arxiv 2020. [pdf]
• PairwiseDistance: 图上的自监督学习：深刻见解和新方向。
  • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
• PairwiseAttsim: 图上的自监督学习：深刻见解和新方向。
  • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
• Distance2Cluster: 图上的自监督学习：深刻见解和新方向。
  • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
• EdgeMask: 图上的自监督学习：深刻见解和新方向。
  • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
• TopoTER: 拓扑变换等变表示的无监督学习。
  • X. Gao, W. Hu, and G.-J. Qi. OpenReview 2021. [pdf]
• 中心性得分排名：用于通用结构特征提取的图神经网络预训练。
  • Z. Hu, C. Fan, T. Chen, K.-W. Chang, and Y. Sun. Arxiv 2019. [pdf]
• 元路径预测：用于异构图的自监督辅助学习。
  • D. Hwang, J. Park, S. Kwon, K. Kim, J. Ha, and H. J. Kim. NIPS 2020. [pdf] [code]
• SLiCE: 用于异构网络中链接预测的上下文嵌入自监督学习。
  • P. Wang, K. Agarwal, C. Ham, S. Choudhury, and C. K. Reddy. Arxiv 2020. [pdf] [code]
• Distance2Labeled: 图上的自监督学习：深刻见解和新方向。
  • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
• Distance2Labeled: 图上的自监督学习：深刻见解和新方向。
  • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
• HTM: 基于跳数的属性网络自监督异常检测。
  • T. Huang, Y. Pei, V. Menkovski, and M. Pechenizkiy. Arxiv 2021. [pdf]

自训练

• 多阶段自训练：对图卷积网络进行半监督学习的更深见解。
  • Q. Li, Z. Han, and X. Wu. AAAI 2018. [pdf] [code]
• 节点聚类和划分：自监督何时有助于图卷积网络。
  • Y. You, T. Chen, Z. Wang, and Y. Shen. PMLR 2020. [pdf] [code]
• CAGAN: 面向无监督图表示学习的聚类感知图神经网络。
  • Y. Zhu, Y. Xu, F. Yu, S. Wu, and L. Wang. Arxiv 2020. [pdf]
• M3S: 在少标签节点的图上进行图卷积网络的多阶段自监督学习。
  • K. Sun, Z. Lin, and Z. Zhu. AAAI 2020. [pdf] [code]
• 聚类保持：用于通用结构特征提取的图神经网络预训练。
  • Z. Hu, C. Fan, T. Chen, K.-W. Chang, and Y. Sun. Arxiv 2019. [pdf]
• SEF: 改进图神经网络训练的自监督边特征。
  • A. Sehanobish, N. G. Ravindra, and D. van Dijk. Arxiv 2020. [pdf][code]

基于领域知识的预测

• 上下文分子属性预测：在大规模分子数据上进行自监督图变压器。
  • Y. Rong, Y. Bian, T. Xu, W. Xie, Y. Wei, W. Huang, and J. Huang. NIPS 2020. [pdf] [code]
• 图级模式预测：在大规模分子数据上进行自监督图变压器。
  • Y. Rong, Y. Bian, T. Xu, W. Xie, Y. Wei, W. Huang, and J. Huang. NIPS 2020. [pdf] [code]
• DrRepair: 基于图的、从诊断反馈进行自监督程序修复。
  • M. Yasunaga and P. Liang. PMLR 2020. [pdf] [code]

以下是所有调查工作的摘要。

方法细节总结

关于图属性、预处理任务、数据增强、目标函数、训练策略和发表年份。

实现细节摘要

关于任务层级、评估指标和评估数据集。

常用图数据集总结

关于类别、图的数量、每个图的节点数量、每个图的边数、节点属性的维数、类别数量和引用论文。 <SOURCE_TEXT>

开源代码总结

贡献

如果你想贡献这个列表，请随时联系我或添加 pull request 并按照以下 Markdown 格式：

- 论文名称. 
  - 作者列表. *会议 年*. [[pdf]](链接) [[代码]](链接)

这是我们 调研 的 Github 总结。如果你发现这个文件对你的研究有用，请考虑引用：

@article{wu2021self,
  title={Self-supervised Learning on Graphs: Contrastive, Generative, or Predictive},
  author={Wu, Lirong and Lin, Haitao and Tan, Cheng and Gao, Zhangyang and Li, Stan Z},
  journal={IEEE Transactions on Knowledge and Data Engineering},
  year={2021},
  publisher={IEEE}
}

反馈

如果你有关于这项工作的任何问题，请随时通过电子邮件联系我：

• Lirong Wu: wulirong@westlake.edu.cn </SOURCE_TEXT>