懂AI
awesome-graph-self-supervised-learning

awesome-graph-self-supervised-learning

自监督学习在图数据中的应用及方法综述

展示全面的自监督图表示学习资源，包括对比学习、生成学习和预测学习三种主要方法。本页面介绍了各类自监督学习方法在图数据中的应用、训练策略和具体实现，帮助AI研究者掌握最新技术。

Self-Supervised LearningGraph RepresentationContrastive LearningGenerative LearningPredictive LearningGithub开源项目
访问官网GitHub

精彩的图表示自监督学习

欢迎提交PR精彩GitHub stars GitHub forks

一个精心策划的关于精彩的自监督图表示学习资源的列表。灵感来源于awesome-deep-vision, awesome-adversarial-machine-learning, awesome-deep-learning-papers, awesome-architecture-search和awesome-self-supervised-learning.

为什么选择自监督学习？

自监督学习已成为AI社区中一个令人兴奋的方向。

  • Jitendra Malik：“监督是AI研究者的鸦片”
  • Alyosha Efros：“AI革命不会被监督”
  • Yann LeCun：“自监督学习是蛋糕，监督学习是蛋糕上的糖霜，强化学习是蛋糕上的樱桃”

目录

概述

我们扩展了自监督学习的概念，该概念最初出现在计算机视觉和自然语言处理领域，提出了现有图数据SSL技术的及时和全面的回顾。具体来说，我们将现有的图SSL方法分为三类：对比学习、生成学习和预测学习，如下所示。

<p align="center"> <img src='https://yellow-cdn.veclightyear.com/35dd4d3f/9a4986bd-b8f3-4062-9078-7a27e759c545.PNG' width="500"> </p>
  • 对比学习：通过不同的数据增强方法生成的视图进行对比。数据-数据对（跨数据）的差异和相同信息作为自监督信号。
  • 生成学习：关注嵌入数据中的信息（数据内），通常基于重构等任务，利用数据本身的属性和结构作为自监督信号。
  • 预测学习：通常通过一些简单的统计分析或专家知识自生成标签，设计基于自生成标签的预测任务，以处理数据标签关系。

训练策略

考虑瓶颈编码器、自监督任务和下游任务之间的关系，训练策略可以分为三类：预训练和微调（P&F）、联合学习（JL）和无监督表示学习（URL），其具体工作流程如下所示。

<p align="center"> <img src='https://yellow-cdn.veclightyear.com/35dd4d3f/9ea7b6c8-365f-41af-85b6-97fd9b6c9893.PNG' width="500"> </p>
  • 预训练和微调（P&F）：首先通过自监督任务预训练编码器的参数，然后将其用作有监督微调下游任务的初始参数。
  • 联合学习（JL）：包括一个自监督的辅助任务以帮助学习有监督的下游任务。编码器同时被预训练任务和下游任务联合训练。
  • 无监督表示学习（URL）：首先通过自监督任务对未标记的节点预训练编码器，然后将预训练的编码器参数冻结并用于有监督的下游任务。

对比学习

以下是对比学习的一般框架。对比的两个组件可以是局部的、上下文的或全局的，对应于图中节点级别（红色标记）、子图级别（绿色标记）或图级别（黄色标记）的信息。对比学习可以对比两个视图（在相同或不同尺度下），这导致了两类算法：（1）同尺度对比，包括*局部-局部（L-L）*对比、*上下文-上下文（C-C）对比和全局-全局（G-G）对比；（2）跨尺度对比，包括局部-上下文（L-C）*对比、*局部-全局（L-G）对比和上下文-全局（C-G）*对比。

<p align="center"> <img src='https://yellow-cdn.veclightyear.com/35dd4d3f/e63015c3-e18d-4385-b969-749c041aa1b4.PNG' width="800"> </p>

全局-全局对比

  • GraphCL：通过增强进行图对比学习。
    • Y. You, T. Chen, Y. Sui, T. Chen, Z. Wang, 和 Y. Shen. NIPS 2020. [pdf] [code]
  • IGSD：迭代图自蒸馏。
    • H. Zhang, S. Lin, W. Liu, P. Zhou, J. Tang, X. Arxiv 2020. [pdf]
  • DACL：面向领域不可知对比学习。
    • V. Verma, M.-T. Luong, K. Kawaguchi, H. Pham, 和 Q. V. Le. Arxiv 2020. [pdf]
  • LCC：基于标签对比编码的图神经网络用于图分类。
    • Y. Ren, J. Bai, 和 J. Zhang. Arxiv 2021. [pdf] [code]
  • CCGL：对比级联图学习。
    • X. Xu, F. Zhou, K. Zhang, 和 S. Liu. TKDE 2022. [pdf] [code]
  • CSSL：用于图分类的自监督对比学习。
    • J. Zeng 和 P. Xie. Arxiv 2020. [pdf]

上下文-上下文对比

  • GCC：用于图神经网络预训练的图对比编码。
    • J. Qiu, Q. Chen, Y. Dong, J. Zhang, H. Yang, M. Ding, K. Wang, 和 J. Tang. KDD 2020. [pdf] [code]

局部-局部对比

  • CDNMF: 用于社区检测的对比深度非负矩阵分解。
    • Y. Li, J. Chen, C. Chen, L. Yang, Z. Zheng. ICASSP 2024. [pdf] [code]
  • GRACE: 深度图对比表示学习。
    • Y. Zhu, Y. Xu, F. Yu, Q. Liu, S. Wu, and L. Wang. Arxiv 2020. [pdf] [code]
  • GCA: 具有自适应增强的图对比学习。
    • Y. Zhu, Y. Xu, F. Yu, Q. Liu, S. Wu, and L. Wang. Arxiv 2020. [pdf] [code]
  • GROC: 走向鲁棒图对比学习。
    • N. Jovanovi´c, Z. Meng, L. Faber, and R. Wattenhofer. Arxiv 2021. [pdf]
  • SEPT: 社交感知自监督三重训练推荐。
    • J. Yu, H. Yin, M. Gao, X. Xia, X. Zhang, and N. Q. V.Hung. Arxiv 2021. [pdf] [code]
  • STDGI: 时空深度图Infomax。
    • F. L. Opolka, A. Solomon, C. Cangea, P. Veliˇckovi´c, P. Li` o, and R. D. Hjelm. Arxiv 2019. [pdf]
  • GMI: 通过图形互信息最大化的图表示学习。
    • L. Yu, S. Pei, C. Zhang, L. Ding, J. Zhou, L. Li, and X. Zhang. WWW 2020. [pdf] [code]
  • KS2L: 自监督平滑图神经网络。
    • L. Yu, S. Pei, C. Zhang, L. Ding, J. Zhou, L. Li, and X. Zhang. Arxiv 2020. [pdf]
  • CG3: 对比生成的图卷积网络用于基于图的半监督学习。
    • S. Wan, S. Pan, J. Yang, and C. Gong. Arxiv 2020. [pdf]
  • BGRL: 图上的引导表示学习。
    • S. Thakoor, C. Tallec, M. G. Azar, R. Munos, P. Veliˇckovi´c, and M. Valko. Arxiv 2021. [pdf][code]
  • SelfGNN: 无显性负采样的自监督图神经网络。
    • Z. T. Kefato and S. Girdzijauskas. Arxiv 2021. [pdf] [code]
  • HeCo: 具有共对比学习的自监督异构图神经网络。
    • X. Wang, N. Liu, H. Han, and C. Shi. Arxiv 2021. [pdf] [code]
  • PT-DGNN: 动态图神经网络的预训练。
    • J. Zhang, K. Chen, and Y. Wang. Arxiv 2021. [pdf] [code]
  • COAD: 用敌对微调的对比预训练用于零样本专家链接。
    • B. Chen, J. Zhang, X. Zhang, X. Tang, L. Cai, H. Chen, C. Li, P. Zhang, and J. Tang. Arxiv 2020. [pdf] [code]
  • Contrast-Reg: 通过对比正则化提高图表示学习。
    • K. Ma, H. Yang, H. Yang, T. Jin, P. Chen, Y. Chen, B. F. Kamhoua, and J. Cheng. Arxiv 2021. [pdf]
  • C-SWM: 结构化世界模型的对比学习。
    • T. Kipf, E. van der Pol, and M. Welling. *Arxiv 2019. [pdf] [code]

本地-全球对比

  • DGI: 深度图Infomax。
    • P. Velickovic, W. Fedus, W. L. Hamilton, P. Li` o, Y. Bengio, and R. D. Hjelm. ICLR 2019. [pdf] [code]
  • HDMI: 高阶深度多路Infomax。
    • B. Jing, C. Park, and H. Tong. Arxiv 2021. [pdf]
  • DMGI: 无监督的属性多路网络嵌入。
    • C. Park, D. Kim, J. Han, and H. Yu. AAAI 2020. [pdf] [code]
  • MVGRL: 基于图的对比多视图表示学习。
    • K. Hassani and A. H. K. Ahmadi. ICML 2020. [pdf] [code]
  • HDGI: 异构深度图Infomax。
    • Y. Ren, B. Liu, C. Huang, P. Dai, L. Bo, and J. Zhang. Arxiv 2019. [pdf] [code]

本地-上下文对比

  • CDNMF: 用于社区检测的对比深度非负矩阵分解。
    • Y. Li, J. Chen, C. Chen, L. Yang, Z. Zheng. ICASSP 2024. [pdf] [code]
  • Subg-Con: 子图对比，用于可扩展的自监督图表示学习。
    • Y. Jiao, Y. Xiong, J. Zhang, Y. Zhang, T. Zhang, and Y. Zhu. Arxiv 2020. [pdf] [code]
  • Cotext Prediction: 图神经网络预训练策略。
    • W. Hu, B. Liu, J. Gomes, M. Zitnik, P. Liang, V. S. Pande, and J. Leskovec. ICLR 2020. [pdf] [code]
  • GIC: 利用集群级节点信息进行无监督的图表示学习。
    • C. Mavromatis and G. Karypis. Arxiv 2020. [pdf] [code]
  • GraphLoG: 具有局部和全局结构的自监督图级表示学习。
    • M. Xu, H. Wang, B. Ni, H. Guo, and J. Tang. OpenReview 2021. [pdf] [code]
  • MHCN: 用于社交推荐的自监督多通道超图卷积网络。
    • J. Yu, H. Yin, J. Li, Q. Wang, N. Q. V. Hung, and X. Zhang. Arxiv 2021. [pdf] [code]
  • EGI: 通过 ego 图信息最大化进行图神经网络的迁移学习。
    • Q. Zhu, Y. Xu, H.Wang, C. Zhang, J. Han, and C. Yang. Arxiv 2020. [pdf] [code]

上下文-全局对比

  • MICRO-Graph: 基于模体驱动的图表示对比学习。
    • S. Zhang, Z. Hu, A. Subramonian, and Y. Sun. Arxiv 2020. [pdf] [code]
  • InfoGraph: 通过互信息最大化进行无监督和半监督的图级表示学习。
    • F. Sun, J. Hoffmann, V. Verma, and J. Tang. ICLR 2020. [pdf] [code]
  • SUGAR: 具有强化池化和自监督互信息机制的子图神经网络。
    • Q. Sun, H. Peng, J. Li, J. Wu, Y. Ning, P. S. Yu, and L. He. Arxiv 2021. [pdf] [code]
  • BiGI: 通过互信息最大化的二分图嵌入。
    • J. Cao, X. Lin, S. Guo, L. Liu, T. Liu, and B. Wang. WSDM 2021. [pdf] [code]
  • HTC: 通过互信息最大化的子图集成聚合的图表示学习。
    • C. Wang and Z. Liu. Arxiv 2021. [pdf]
  • DITNet: 通过子结构对比的图表示学习进行药物靶点预测。
    • S. Cheng, L. Zhang, B. Jin, Q. Zhang, and X. Lu. Preprints 2021. [pdf] [code]

图自动编码

  • CDNMF: 用于社区检测的对比深度非负矩阵因子分解。
    • Y. Li, J. Chen, C. Chen, L. Yang, Z. Zheng. ICASSP 2024. [pdf] [code]
  • GraphMAE: 自监督掩码图自动编码器
    • Z. Hou, X. Liu, Y. Cen, Y. Dong, H. Yang, C. Wang, and J. Tang. KDD 2022 [pdf] [code]
  • 图完成：自监督何时有助于图卷积网络？
    • Y. You, T. Chen, Z. Wang, and Y. Shen. PMLR 2020. [pdf] [code]
  • 节点属性掩码：图上的自监督学习：深刻见解和新方向。
    • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
  • 边属性掩码：图神经网络的预训练策略。
    • W. Hu, B. Liu, J. Gomes, M. Zitnik, P. Liang, V. S. Pande, and J. Leskovec. ICLR 2020. [pdf] [code]
  • 节点属性和嵌入降噪：具有多个自监督辅助任务的基于图的神经网络模型。
    • F. Manessi and A. Rozza. Arxiv 2020. [pdf]
  • 邻接矩阵重建：图卷积网络的自监督训练。
    • Q. Zhu, B. Du, and P. Yan. Arxiv 2020. [pdf]
  • Graph Bert: 仅需要注意力即可学习图表示。
    • J. Zhang, H. Zhang, C. Xia, and L. Sun. Arxiv 2020. [pdf] [code]
  • Pretrain-Recsys: 用于冷启动用户和项目表示的图神经网络预训练。
    • B. Hao, J. Zhang, H. Yin, C. Li, and H. Chen. WSDM 2021. [pdf] [code]
  • SLAPS: 自监督改进图神经网络的结构学习。
    • B. Fatemi, L. E. Asri, and S. M. Kazemi. Arxiv 2021. [pdf] [code]
  • G-BERT: 用于药物推荐的图增强变压器预训练。
    • J. Shang, T. Ma, C. Xiao, and J. Sun. Arxiv 2019. [pdf] [code]

图自回归

  • GPT-GNN: 图神经网络的生成预训练。
    • Z. Hu, Y. Dong, K. Wang, K. Chang, and Y. Sun. KDD 2020. [pdf] [code]

预测学习

下图展示了预测学习的比较。预测方法通常从图数据中自生成标签，然后基于自生成标签设计预测任务。根据标签如何获得，我们将图数据的预测学习方法总结为四类：

  • 节点属性预测：预先计算节点属性，如节点度，并将其用作自监督标签。
  • 基于上下文的预测：图中的局部或全局上下文信息，如节点间的最短路径长度，可以提取为标签以帮助自监督学习。
  • 自训练：应用算法如无监督聚类获得伪标签，然后根据预测结果或损失更新前一阶段的伪标签集。
  • 基于领域知识的预测：使用领域知识，如专家知识或专用工具，预先获得信息量高的标签。
<p align="center"> <img src='https://yellow-cdn.veclightyear.com/35dd4d3f/a0303fc4-2bd5-41be-8b02-523946343aa6.PNG' width="1000"> </p>

节点属性预测

  • 节点属性预测：图上的自监督学习：深刻见解和新方向。
    • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]

基于上下文的预测

  • S2GRL: 通过全局上下文预测进行自监督图表示学习。
    • Z. Peng, Y. Dong, M. Luo, X.-M. Wu, and Q. Zheng. Arxiv 2020. [pdf]
  • PairwiseDistance: 图上的自监督学习：深刻见解和新方向。
    • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
  • PairwiseAttsim: 图上的自监督学习：深刻见解和新方向。
    • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
  • Distance2Cluster: 图上的自监督学习：深刻见解和新方向。
    • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
  • EdgeMask: 图上的自监督学习：深刻见解和新方向。
    • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
  • TopoTER: 拓扑变换等变表示的无监督学习。
    • X. Gao, W. Hu, and G.-J. Qi. OpenReview 2021. [pdf]
  • 中心性得分排名：用于通用结构特征提取的图神经网络预训练。
    • Z. Hu, C. Fan, T. Chen, K.-W. Chang, and Y. Sun. Arxiv 2019. [pdf]
  • 元路径预测：用于异构图的自监督辅助学习。
    • D. Hwang, J. Park, S. Kwon, K. Kim, J. Ha, and H. J. Kim. NIPS 2020. [pdf] [code]
  • SLiCE: 用于异构网络中链接预测的上下文嵌入自监督学习。
    • P. Wang, K. Agarwal, C. Ham, S. Choudhury, and C. K. Reddy. Arxiv 2020. [pdf] [code]
  • Distance2Labeled: 图上的自监督学习：深刻见解和新方向。
    • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
  • Distance2Labeled: 图上的自监督学习：深刻见解和新方向。
    • W. Jin, T. Derr, H. Liu, Y. Wang, S. Wang, Z. Liu, and J. Tang. Arxiv 2020. [pdf] [code]
  • HTM: 基于跳数的属性网络自监督异常检测。
    • T. Huang, Y. Pei, V. Menkovski, and M. Pechenizkiy. Arxiv 2021. [pdf]

自训练

  • 多阶段自训练：对图卷积网络进行半监督学习的更深见解。
  • 节点聚类和划分：自监督何时有助于图卷积网络。
    • Y. You, T. Chen, Z. Wang, and Y. Shen. PMLR 2020. [pdf] [code]
  • CAGAN: 面向无监督图表示学习的聚类感知图神经网络。
    • Y. Zhu, Y. Xu, F. Yu, S. Wu, and L. Wang. Arxiv 2020. [pdf]
  • M3S: 在少标签节点的图上进行图卷积网络的多阶段自监督学习。
  • 聚类保持：用于通用结构特征提取的图神经网络预训练。
    • Z. Hu, C. Fan, T. Chen, K.-W. Chang, and Y. Sun. Arxiv 2019. [pdf]
  • SEF: 改进图神经网络训练的自监督边特征。
    • A. Sehanobish, N. G. Ravindra, and D. van Dijk. Arxiv 2020. [pdf][code]

基于领域知识的预测

  • 上下文分子属性预测：在大规模分子数据上进行自监督图变压器。
    • Y. Rong, Y. Bian, T. Xu, W. Xie, Y. Wei, W. Huang, and J. Huang. NIPS 2020. [pdf] [code]
  • 图级模式预测：在大规模分子数据上进行自监督图变压器。
    • Y. Rong, Y. Bian, T. Xu, W. Xie, Y. Wei, W. Huang, and J. Huang. NIPS 2020. [pdf] [code]
  • DrRepair: 基于图的、从诊断反馈进行自监督程序修复。

以下是所有调查工作的摘要。

<p align="center"> <img src='https://yellow-cdn.veclightyear.com/35dd4d3f/7fc674ad-cbef-4161-b25b-9de106c096a8.PNG' width="1200"> </p>

方法细节总结

关于图属性、预处理任务、数据增强、目标函数、训练策略和发表年份。

方法图属性预训练任务数据增强目标函数训练策略年
CDNMF有属性对比/L-C + 生成/AE无InfoNCE + AEURL2024
图完成有属性生成/AE属性掩码MAEP&F/JL2020
节点属性掩码有属性生成/AE属性掩码MAEP&F/JL2020
边属性掩码有属性生成/AE属性掩码MAEP&F2019
节点属性和<br/>嵌入去噪有属性生成/AE属性掩码MAEJL2020
邻接矩阵<br/>重建有属性生成/AE属性掩码<br/>边扰动MAEJL2020
图 Bert有属性生成/AE属性掩码<br/>边扰动MAEP&F2020
预训练-Recsys有属性生成/AE边扰动MAEP&F2021
GPT-GNN异质生成/AR属性掩码<br/>边扰动MAE/InfoNCEP&F2020
GraphCL有属性对比/G-G属性掩码<br/>边扰动<br/>随机游走采样InfoNCEURL2020
IGSD有属性对比/G-G边扰动<br/>边离散InfoNCEJL/URL2020
DACL有属性对比/G-G混合InfoNCEURL2020
LCC有属性对比/G-G无InfoNCEJL2021
CCGL有属性对比/G-G信息再扩散InfoNCEP&F2021
CSSL有属性对比/G-G节点插入<br/>边扰动<br/>均匀采样InfoNCEP&F/JL/URL2020
GCC无属性对比/C-C随机游走采样InfoNCEP&F/URL2020
GRACE有属性对比/L-L属性掩码<br/>边扰动InfoNCEURL2020
GCA有属性对比/L-L基于注意力InfoNCEURL2020
GROC有属性对比/L-L基于梯度InfoNCEURL2021
SEPT有属性对比/L-L边扰动InfoNCEJL2021
STDGI时序空间对比/L-L属性洗牌JS估计器URL2019
GMI有属性对比/L-L无SP估计器URL2020
KS2L有属性对比/L-L无InfoNCEURL2020
CG3有属性对比/L-L无InfoNCEJL2020
BGRL有属性对比/L-L属性掩码<br/>边扰动内积URL2021
SelfGNN有属性对比/L-L属性掩码<br/>边扩散MSEURL2021
HeCo异质对比/L-L无InfoNCEURL2021
PT-DGNN动态对比/L-L属性掩码<br/>边扰动InfoNCEP&F2021
COAD有属性对比/L-L无三元组边缘损失P&F2020
Contrst-Reg有属性对比/L-L属性洗牌InfoNCEJL2021
DGI有属性对比/L-G任意JS估计器URL2019
HDMI有属性对比/L-G属性洗牌JS估计器URL2021
DMGI异质对比/L-G属性洗牌JS估计器/MAEURL2020
MVGRL有属性对比/L-G属性掩码<br/>边扰动<br/>边扩散<br/>随机游走采样DV估计器<br/>JS估计器<br/>NT-Xent<br/>InfoNCEURL2020
HDGI异质对比/L-G属性洗牌JS估计器URL2019
Subg-Con有属性对比/L-C重要性采样三元组边缘损失URL2020
背景预测有属性对比/L-C自私网络采样交叉熵P&F2019
GIC有属性对比/L-C任意JS估计器URL2020
GraphLoG有属性对比/L-C属性掩码InfoNCEURL2021
MHCN异质对比/L-C属性洗牌InfoNCEJL2021
EGI有属性对比/L-C自私网络采样SP估计器P&F2020
MICRO-Graph有属性对比/C-G知识采样InfoNCEURL2020
InfoGraph有属性对比/C-G无SP估计器URL2019
SUGAR有属性对比/C-GBFS采样JS估计器JL2021
BiGI异质对比/C-G边扰动<br/>自私网络采样JS估计器JL2021
HTC有属性对比/C-G属性洗牌SP估计器<br/>DV估计器URL2021
节点属性预测有属性预测/节点属性无MAEP&F/JL2020
S2GRL有属性预测/上下文无交叉熵URL2020
配对距离有属性预测/上下文无交叉熵P&F/JL2020
配对属性相似有属性预测/上下文无MAEP&F/JL2020
到集群的距离有属性预测/上下文无MAEP&F/JL2020
边掩码有属性预测/上下文无交叉熵P&F/JL2020
TopoTER有属性预测/上下文边扰动交叉熵URL2021
中心度评分排序有属性预测/上下文无交叉熵P&F2019
元路径预测异质预测/上下文无交叉熵JL2020
SLiCE异质预测/上下文无交叉熵P&F2020
到标签的距离有属性预测/上下文无MAEP&F/JL2020
上下文标签有属性预测/上下文无MAEP&F/JL2020
HCM有属性预测/上下文边扰动贝叶斯推断URL2021
上下文分子<br/>属性预测有属性预测/领域无交叉熵P&F2020
图级基元预测有属性预测/领域无交叉熵P&F2020
多阶段自我训练有属性预测/自我训练无无JL2018
节点聚类有属性预测/自我训练无聚类P&F/JL2020
图划分有属性预测/自我训练无图划分P&F/JL2020
CAGAN有属性预测/自我训练无聚类URL2020
M3S有属性预测/自我训练无聚类JL2020
集群保持有属性预测/自我训练无交叉熵P&F2019

实现细节摘要

关于任务层级、评估指标和评估数据集。

方法任务级别评价指标数据集
CDNMF节点节点聚类 (Acc, NMI)Cora, Citeseer, Pubmed
Graph Completion节点节点分类 (Acc)Cora, Citeseer, Pubmed
Node Attribute Masking节点节点分类 (Acc)Cora, Citeseer, Pubmed, Reddit
Edge Attribute Masking图图分类 (ROC-AUC)MUTAG, PTC, PPI, BBBP, Tox21, ToxCast, ClinTox, MUV, HIV, SIDER, BACE
Node Attribute and<br/>Embedding Denoising节点节点分类 (Acc)Cora, Citeseer, Pubmed
Adjacency Matrix<br/>Reconstruction节点节点分类 (Acc)Cora, Citeseer, Pubmed
Graph Bert节点节点分类 (Acc)<br/>节点聚类 (NMI)Cora, Citeseer, Pubmed
Pretrain-Recsys节点/链接-ML-1M, MOOCs 和 Last-FM
GPT-GNN节点/链接节点分类 (F1-score)<br/>链接预测 (ROC-AUC)OAG, Amazon, Reddit
GraphCL图图分类 (Acc, ROC-AUC)NCI1, PROTEINS, D&D, COLLAB, RDT-B, RDT-M5K, GITHUB, MNIST, CIFAR10, MUTAG, IMDB-B, BBBP, Tox21, ToxCast, SIDER, ClinTox, MUV, HIV, BACE, PPI
IGSD图图分类 (Acc)MUTAG, PTC_MR, NCI1, IMDB-B, QM9, COLLAB, IMDB-M
DACL图图分类 (Acc)MUTAG, PTC_MR, IMDB-B, IMDB-M, RDT-B, RDT-M5K
LCC图图分类 (Acc)IMDB-B, IMDB-M, COLLAB, MUTAG, PROTEINS, PTC, NCI1, D&D
CCGL图瀑布图预测 (MSLE)微博, Twitter, ACM, APS, DBLP
CSSL图图分类 (Acc)PROTEINS, D&D, NCI1, NCI109, Mutagenicity
GCC节点/图节点分类 (Acc)<br/>图分类 (Acc)US-Airport, H-index, COLLAB, IMDB-B, IMDB-M, RDT-B, RDT-M5K
GRACE节点节点分类 (Acc, Micro-F1)Cora, Citeseer, Pubmed, DBLP, Reddit, PPI
GCA节点节点分类 (Acc)Wiki-CS, Amazon-Computers, Amazon-Photo, Coauthor-CS, Coauthor-Physics
GROC节点节点分类 (Acc)Cora, Citeseer, Pubmed, Amazon-Photo, Wiki-CS
SEPT节点/链接-Last-FM, Douban, Yelp
STDGI节点节点回归(MAE, RMSE, MAPE)METR-LA
GMI节点/链接节点分类 (Acc, Micro-F1)<br/>链接预测 (ROC-AUC)Cora, Citeseer, PubMed, Reddit, PPI, BlogCatalog, Flickr
KS2L节点/链接节点分类 (Acc)<br/>链接预测 (ROC-AUC)Cora, Citeseer, Pubmed, Amazon-Computers, Amazon-Photo, Coauthor-CS
CG3节点节点分类 (Acc)Cora, Citeseer, Pubmed, Amazon-Computers, Amazon-Photo, Coauthor-CS
BGRL节点节点分类 (Acc, Micro-F1)Wiki-CS, Amazon-Computers, Amazon-Photo, PPI, Coauthor-CS, Coauthor-Physics, ogbn-arxiv
SelfGNN节点节点分类 (Acc)Cora, Citeseer, Pubmed, Amazon-Computers, Amazon-Photo, Coauthor-CS, Coauthor-Physics
HeCo节点节点分类<br/>(ROC-AUC, Micro-F1, Macro-F1)<br/>节点聚类 (NMI, ARI)ACM, DBLP, Freebase, AMiner
PT-DGNN链接链接预测 (ROC-AUC)HepPh, Math Overflow, Super User
COAD节点/链接节点聚类<br/>(Precision, Recall, F1-score)<br/>链接预测 (HitRatio@K, MRR)AMiner, News, LinkedIn
Contrast-Reg节点/链接节点分类 (Acc)<br/>节点聚类<br/>(NMI, Acc, Macro-F1)<br/>链接预测 (ROC-AUC)Cora, Citeseer, Pubmed, Reddit, ogbn-arxiv, Wikipedia, ogbn-products, Amazo-Computers, Amazo-Photo
DGI节点节点分类 (Acc, Micro-F1)Cora, Citeseer, Pubmed, Reddit, PPI
HDMI节点节点分类<br/>(Micro-F1, Macro-F1)<br/>节点聚类 (NMI)ACM, IMDB, DBLP, Amazon
DMGI节点节点聚类 (NMI)<br/>节点分类 (Acc)ACM, IMDB, DBLP, Amazon
MVGRL节点/图节点分类 (Acc)<br/>节点聚类 (NMI, ARI)<br/>图分类 (Acc)Cora, Citeseer, Pubmed, MUTAG, PTC_MR, IMDB-B, IMDB-M, RDT-B
HDGI节点节点分类<br/>(Micro-F1, Macro-F1)<br/>节点聚类 (NMI, ARI)ACM, DBLP, IMDB
Subg-Con节点节点分类 (Acc, Micro-F1)Cora, Citeseer, Pubmed, PPI, Flickr, Reddit
Cotext Prediction图图分类 (ROC-AUC)MUTAG, PTC, PPI, BBBP, Tox21, ToxCast, ClinTox, MUV, HIV, SIDER, BACE
GIC节点/链接节点分类 (Acc)<br/>节点聚类 (Acc, NMI, ARI)<br/>链接预测 (ROC-AUC, ROC-AP)Cora, Citeseer, Pubmed, Amazon-Computers, Amazon-Photo, Coauthor-CS, Coauthor-Physics
GraphLoG图图分类 (ROC-AUC)BBBP, Tox21, ToxCast, ClinTox, MUV, HIV, SIDER, BACE
MHCN节点/链接-Last-FM, Douban, Yelp
EGI节点/链接节点分类 (Acc)<br/>链接预测 (ROC-AUC, MRR)YAGO, Airport
MICRO-Graph图图分类 (ROC-AUC)BBBP, Tox21, ToxCast, ClinTox, HIV, SIDER, BACE
InfoGraph图图分类 (Acc)MUTAG, PTC_MR, RDT-B, RDT-M5K, IMDB-B, QM9, IMDB-M
SUGAR图图分类 (Acc)MUTAG, PTC, PROTEINS, D&D, NCI1, NCI109
BiGI链接链接预测 (AUC-ROC, AUC-PR)DBLP, ML-100K, ML-1M, Wikipedia
HTC图图分类 (Acc)MUTAG, PTC_MR, IMDB-B, IMDB-M, RDT-B, QM9, RDT-M5K
Node Property Prediction节点节点分类 (Acc)Cora, Citeseer, Pubmed, Reddit
S2GRL节点/链接节点分类 (Acc, Micro-F1)<br/>节点聚类 (NMI)<br/>链接预测 (ROC-AUC)Cora, Citeseer, Pubmed, PPI, Flickr, BlogCatalog, Reddit
PairwiseDistance节点节点分类 (Acc)Cora, Citeseer, Pubmed, Reddit
PairwiseAttrSim节点节点分类 (Acc)Cora, Citeseer, Pubmed, Reddit
Distance2Cluster节点节点分类 (Acc)Cora, Citeseer, Pubmed, Reddit
EdgeMask节点节点分类 (Acc)Cora, Citeseer, Pubmed, Reddit
TopoTER节点/图节点分类 (Acc)<br/>图分类 (Acc)Cora, Citeseer, Pubmed, MUTAG, PTC-MR, RDT-B, RDT-M5K, IMDB-B, IMDB-M
Centrality Score Ranking节点/链接/图节点分类 (Micro-F1)<br/>链接预测 (Micro-F1)<br/>图分类 (Micro-F1)Cora, Pubmed, ML-100K, ML-1M, IMDB-M, IMDB-B
Meta-path prediction节点/链接节点分类 (F1-score)<br/>链接预测 (ROC-AUC)ACM, IMDB, Last-FM, Book-Crossing
SLiCE链接链接预测 (ROC-AUC, Micro-F1)Amazon, DBLP, Freebase, Twitter, Healthcare
Distance2Labeled节点节点分类 (Acc)Cora, Citeseer, Pubmed, Reddit
ContextLabel节点节点分类 (Acc)Cora, Citeseer, Pubmed, Reddit
HCM节点节点分类 (ROC-AUC)ACM, Amazon, Enron, BlogCatalog, Flickr
Contextual Molecular<br/>Property Prediction图图分类 (Acc)<br/>图回归 (MAE)BBBP, SIDER, ClinTox, BACE, Tox21, ToxCast, ESOL, FreeSolv, Lipo, QM7, QM8
Graph-level Motif Prediction图图分类 (Acc)<br/>图回归 (MAE)BBBP, SIDER, ClinTox, BACE, Tox21, ToxCast, ESOL, FreeSolv, Lipo, QM7, QM8
Multi-stage Self-training节点节点分类 (Acc)Cora, Citeseer, Pubmed
Node Clustering节点节点分类 (Acc)Cora, Citeseer, Pubmed
Graph Partitioning节点节点分类 (Acc)Cora, Citeseer, Pubmed
CAGAN节点节点分类<br/>(Micro-F1, Macro-F1)<br/>节点聚类<br/>(Micro-F1, Macro-F1, NMI)Cora, Citeseer, Pubmed
M3S节点节点分类 (Acc)Cora, Citeseer, Pubmed
Cluster Preserving节点/链接/图节点分类 (Micro-F1)<br/>链接预测 (Micro-F1)<br/>图分类 (Micro-F1)Cora, Pubmed, ML-100K, ML-1M, IMDB-M, IMDB-B

常用图数据集总结

关于类别、图的数量、每个图的节点数量、每个图的边数、节点属性的维数、类别数量和引用论文。 <SOURCE_TEXT>

数据集分类图数节点数 (平均)边数 (平均)特征数类别
Cora引用网络12708542914337
Citeseer引用网络13327473237036
Pubmed引用网络119717443385003
Wiki-CS引用网络11170121612330010
Coauthor-CS引用网络11833381894680515
Coauthor-Physics引用网络13449324796284155
DBLP (v12)引用网络1489408145564149--
ogbn-arxiv引用网络1169343116624312840
Reddit社交网络12329651160691960241
BlogCatalog社交网络1519617174381896
Flickr社交网络17575239738120479
COLLAB社交网络500074.492457.78-2
RDT-B社交网络2000429.63497.75-2
RDT-M5K社交网络4999508.52594.87-5
IMDB-B社交网络100019.7796.53-2
IMDB-M社交网络150013.0065.94-3
ML-100K社交网络12625100000-5
ML-1M社交网络199401000209-5
PPI蛋白质网络245694481871650121
D&D蛋白质网络1178284.32715.65822
PROTEINS蛋白质网络111339.0672.8142
NCI1分子图411029.8732.30372
MUTAG分子图18817.9319.7972
QM9 (QM7, QM8)分子图133885----
BBBP分子图203924.0525.94-2
Tox21分子图783118.5125.94-12
ToxCast分子图857518.7819.26-167
ClinTox分子图147826.1327.86-2
MUV分子图9308724.2326.28-17
HIV分子图4112725.5327.48-2
SIDER分子图142733.6435.36-27
BACE分子图151334.1236.89-2
PTC分子图34414.2914.69192
NCI109分子图412729.6832.13-2
Mutagenicity分子图433730.3230.77-2
MNIST其他 (图像)-70000-78410
CIFAR10其他 (图像)-60000-102410
METR-LA其他 (交通)120715152-
Amazon-Computers其他 (购物)11375224586176710
Amazon-Photo其他 (购物)176501190817458
ogbn-products其他 (购物)124490296185914010047

开源代码总结

方法Github
CDNMFhttps://github.com/6lyc/CDNMF
图填充https://github.com/Shen-Lab/SS-GCNs
节点属性屏蔽https://github.com/ChandlerBang/SelfTask-GNN
边属性屏蔽http://snap.stanford.edu/gnn-pretrain
属性和嵌入降噪N.A.
邻接矩阵重建N.A.
图 Berthttps://github.com/anonymous-sourcecode/Graph-Bert
Pretrain-Recsyshttps://github.com/jerryhao66/Pretrain-Recsys
SLAPShttps://github.com/BorealisAI/SLAPS-GNN
G-BERThttps://github.com/jshang123/G-Bert
GPT-GNNhttps://github.com/acbull/GPT-GNN
GraphCLhttps://github.com/Shen-Lab/GraphCL
IGSDN.A.
DACLN.A.
LCChttps://github.com/YuxiangRen
CCGLhttps://github.com/Xovee/ccgl
CSSLN.A.
GCChttps://github.com/THUDM/GCC
GRACEhttps://github.com/CRIPAC-DIG/GRACE
GCAhttps://github.com/CRIPAC-DIG/GCA
GROCN.A.
SEPThttps://github.com/Coder-Yu/QRec
STDGIN.A.
GMIhttps://github.com/zpeng27/GMI
KS2LN.A.
CG3N.A.
BGRLN.A.
SelfGNNhttps://github.com/zekarias-tilahun/SelfGNN
HeCohttps://github.com/liun-online/HeCo
PT-DGNNhttps://github.com/Mobzhang/PT-DGNN
COADhttps://github.com/allanchen95/Expert-Linking
Contrast-RegN.A.
C-SWMhttps://github.com/tkipf/c-swm
DGIhttps://github.com/PetarV-/DGI
HDMIN.A.
DMGIhttps://github.com/pcy1302/DMGI
MVGRLhttps://github.com/kavehhassani/mvgrl
HDGIhttps://github.com/YuxiangRen/Heterogeneous-Deep-Graph-Infomax
Subg-Conhttps://github.com/yzjiao/Subg-Con
上下文预测http://snap.stanford.edu/gnn-pretrain
GIChttps://github.com/cmavro/Graph-InfoClust-GIC
GraphLoGhttps://openreview.net/forum?id=DAaaaqPv9-q
MHCNhttps://github.com/Coder-Yu/RecQ
EGIhttps://openreview.net/forum?id=J_pvI6ap5Mn
MICRO-Graphhttps://drive.google.com/file/d/1b751rpnV-SDmUJvKZZI-AvpfEa9eHxo9/
InfoGraphhttps://github.com/fanyun-sun/InfoGraph
SUGARhttps://github.com/RingBDStack/SUGAR
BiGIhttps://github.com/clhchtcjj/BiNE
HTCN.A.
DITNEThttps://github.com/FangpingWan/NeoDTI
节点属性预测https://github.com/ChandlerBang/SelfTask-GNN
S2GRLN.A.
PairwiseDistancehttps://github.com/ChandlerBang/SelfTask-GNN
PairwiseAttrSimhttps://github.com/ChandlerBang/SelfTask-GNN
Distance2Clusterhttps://github.com/ChandlerBang/SelfTask-GNN
EdgeMaskhttps://github.com/ChandlerBang/SelfTask-GNN
TopoTERN.A.
中心性评分N.A.
Meta-path 预测https://github.com/mlvlab/SELAR
SLiCEhttps://github.com/pnnl/SLICE
Distance2Labeledhttps://github.com/ChandlerBang/SelfTask-GNN
ContextLabelhttps://github.com/ChandlerBang/SelfTask-GNN
HCMN.A.
上下文分子属性预测https://github.com/tencent-ailab/grover
图级别的模式预测https://github.com/tencent-ailab/grover
DrRepairhttps://github.com/michiyasunaga/DrRepair
多阶段自训练https://github.com/Davidham3/deeper_insights_into_GCNs
节点聚类https://github.com/Shen-Lab/SS-GCNs
图划分https://github.com/Shen-Lab/SS-GCNs
CAGANN.A.
M3Shttps://github.com/datake/M3S
聚类保持N.A.
SEFhttps://github.com/nealgravindra/self-supervsed_edge_feats

贡献

如果你想贡献这个列表，请随时联系我或添加 pull request 并按照以下 Markdown 格式：

- 论文名称. 
  - 作者列表. *会议 年*. [[pdf]](链接) [[代码]](链接)

这是我们 调研 的 Github 总结。如果你发现这个文件对你的研究有用，请考虑引用：

@article{wu2021self,
  title={Self-supervised Learning on Graphs: Contrastive, Generative, or Predictive},
  author={Wu, Lirong and Lin, Haitao and Tan, Cheng and Gao, Zhangyang and Li, Stan Z},
  journal={IEEE Transactions on Knowledge and Data Engineering},
  year={2021},
  publisher={IEEE}
}

反馈

如果你有关于这项工作的任何问题，请随时通过电子邮件联系我：

编辑推荐精选

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级，全面对标OpenAI o1

科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力，做PPT更简单！

咔片是一款轻量化在线演示设计工具，借助 AI 技术，实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT，提供海量模板、智能美化、素材替换等功能，适用于销售、教师、学生等各类人群，能高效制作出高品质 PPT，满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台，公文写作神器

AI 材料星，专业的 AI 公文写作辅助平台，为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能，支持 30 + 文稿类型生成，助力快速完成领导讲话、工作总结、述职报告等材料，提升办公效率，是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK，助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK，它为开发者提供了与 OpenAI 模型交互的高效工具，支持工具调用、结果处理、追踪等功能，涵盖多种应用场景，如研究助手、财务研究等，能显著提升开发效率，让开发者更轻松地利用 OpenAI 的技术优势。

Hunyuan3D-2

Hunyuan3D-2

高分辨率纹理 3D 资产生成

Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具，支持从文本描述、单张图片或多视角图片生成 3D 模型，具备快速形状生成能力，可生成带纹理的高质量 3D 模型，适用于多个领域，为 3D 创作提供了高效解决方案。

3FS

3FS

一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。

3FS 是一个功能强大的分布式文件系统项目，涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作，如创建文件和目录、设置布局等，同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景，能够提高系统的性能和可靠性，是分布式存储领域的优质解决方案。

下拉加载更多