优秀的LLM4Graph论文集

这是一个关于大型语言模型（LLM）用于图学习（Graph）的论文和资源集合。

图是一种用于表示现实世界关系的重要数据结构。先前的研究表明，图神经网络（GNNs）在图相关任务中（如链接预测和节点分类）取得了令人印象深刻的结果。尽管取得了这些进展，数据稀疏性和有限的泛化能力等挑战仍然存在。最近，大型语言模型（LLMs）在自然语言处理领域引起了关注。它们在语言理解和总结方面表现出色。将LLMs与图学习技术结合已经引起了人们的兴趣，这被认为是提高图学习任务性能的一种方法。

新闻

🤗 我们正在积极开展这个项目，非常感谢您的关注！为了及时了解最新进展，请考虑点击星标和关注以获取更新。

🚀 我们的LLM4Graph综述已被KDD 2024接收，我们还将在那里进行一场讲座式教程！
🔥 我们在2024年TheWebConf（WWW）会议上进行了一场关于LLM4Graph的教程！
我们的综述论文：大型语言模型用于图的综述现已发布。

概述

本仓库收集了最近在使用大型语言模型（LLMs）建模图结构数据方面的进展。我们根据四个主要范式和九个二级类别对这些方法进行了分类和总结。四个主要类别包括：1) GNNs作为前缀，2) LLMs作为前缀，3) LLMs-图集成，4) 仅使用LLMs

GNNs作为前缀

GNNs作为前缀

LLMs作为前缀

LLMs作为前缀

LLMs-图集成

LLMs-图集成

仅使用LLMs

仅使用LLMs

我们希望这个仓库对您在推荐系统自监督学习领域的研究或实践有所帮助。如果您觉得它有用，请考虑引用我们的工作：

@article{ren2024survey,
  title={A Survey of Large Language Models for Graphs},
  author={Ren, Xubin and Tang, Jiabin and Yin, Dawei and Chawla, Nitesh and Huang, Chao},
  journal={arXiv preprint arXiv:2405.08011},
  year={2024}
}

@inproceedings{huang2024large,
  title={Large Language Models for Graphs: Progresses and Directions},
  author={Huang, Chao and Ren, Xubin and Tang, Jiabin and Yin, Dawei and Chawla, Nitesh},
  booktitle={Companion Proceedings of the ACM on Web Conference 2024},
  pages={1284--1287},
  year={2024}
}

🌐 图神经网络作为前缀

节点级别令牌化

(SIGIR'2024) GraphGPT：大型语言模型的图指令调优 [论文]
(arxiv'2024) HiGPT：异构图语言模型 [论文]
(WWW'2024) GraphTranslator：将图模型与大型语言模型对齐以进行开放式任务 [论文]
(arxiv'2024) UniGraph：从自然语言学习跨域图基础模型 [论文]
(NeurIPS'2024) GIMLET：基于指令的分子零样本学习的统一图文模型 [论文]
(arxiv'2024) XRec：用于可解释推荐的大型语言模型 [论文]

图级别

(arxiv'2023) GraphLLM：提升大型语言模型的图推理能力 [论文]
(Computers in Biology and Medicine) GIT-Mol：用于分子科学的多模态大型语言模型，包含图、图像和文本 [论文]
(EMNLP'2023) MolCA：使用跨模态投影器和单模态适配器的分子图-语言建模 [论文]
(arxiv'2023) InstructMol：多模态集成构建药物发现中多功能可靠的分子助手 [论文]
(arxiv'2024) G-Retriever：用于文本图理解和问答的检索增强生成 [论文]
(AAAI'2024) 使用大型语言模型的图神经网络提示 [论文]

🌐 大型语言模型作为前缀

大型语言模型嵌入用于图神经网络

(arxiv'2023) 用于文本属性图少样本学习的基于提示的节点特征提取器 [论文]
(arxiv'2023) SimTeG：一种令人沮丧的简单方法改进了文本图学习 [论文]
(KDD'2023) 在大规模图语料上预训练的图感知语言模型可以帮助多种图应用 [论文]
(ICLR'2024) 一举多得：为所有分类任务训练一个图模型 [论文]
(ICLR'2024) 利用解释：LLM到LM解释器用于增强文本属性图表示学习 [论文]
(WSDM'2024) LLMRec：使用图增强的大型语言模型进行推荐 [论文]

大型语言模型标签用于图神经网络

(arxiv'2024) OpenGraph：迈向开放图基础模型 [论文]
(arxiv'2023) 使用大型语言模型（LLMs）进行无标签图节点分类 [论文]
(arxiv'2024) GraphEdit：用于图结构学习的大型语言模型 [论文]
(WWW'2024) 使用大型语言模型进行推荐的表示学习 [论文]

🌐 大型语言模型-图集成

图神经网络和大型语言模型的对齐

(arxiv'2022) 将分子图与自然语言关联的分子多模态基础模型 [论文]
(arxiv'2023) ConGraT：用于联合图和文本嵌入的自监督对比预训练 [论文]
(arxiv'2023) 在图增强的低资源文本分类上进行提示调优 [论文]
(arxiv'2023) GRENADE：用于文本属性图自监督表示学习的以图为中心的语言模型 [论文]
(Nature Machine Intelligence'2023) 用于基于文本检索和编辑的多模态分子结构-文本模型 [论文]
(arxiv'2023) 用文本属性异构图预训练语言模型 [论文]
(arxiv'2022) 通过变分推断学习大规模文本属性图 [论文]

图神经网络和大型语言模型的融合训练

(ICLR'2022) GreaseLM：增强图推理的语言模型用于问答 [论文]
(arxiv'2023) 用大型语言模型进行文本属性图的解耦表示学习 [论文]
(arxiv'2024) 文本图上大型语言模型的高效调优和推理 [论文]
(WWW'2024) 图神经网络能成为大型语言模型的好适配器吗？ [论文]

图的大型语言模型代理

(ACL'2023) 不要生成，要区分：将语言模型与现实环境联系起来的提议 [论文]
(arxiv'2022) 图代理：图的显式推理代理 [论文]
(arxiv'2024) 大型语言模型的中间件：工具对复杂环境中的语言代理至关重要 [论文]
(arxiv'2023) 需要时呼叫我：大型语言模型可以高效忠实地推理结构化环境 [论文]
(ICLR'2024) 图上的推理：忠实和可解释的大型语言模型推理 [论文]

🌐 仅使用大语言模型

无需微调

(NeurIPS'2024) 语言模型能用自然语言解决图问题吗？[论文]
(arxiv'2023) GPT4Graph：大型语言模型能理解图结构数据吗？实证评估与基准测试 [论文]
(arxiv'2023) 超越文本：深入探讨大型语言模型理解图数据的能力 [论文]
(KDD'2024) 探索大型语言模型（LLMs）在图学习中的潜力 [论文]
(arxiv'2023) Graphtext：文本空间中的图推理 [论文]
(arxiv'2023) 像图一样对话：为大型语言模型编码图 [论文]
(arxiv'2023) LLM4DyG：大型语言模型能解决动态图问题吗？[论文]
(arxiv'2023) 我应该使用哪种模态——文本、图案还是图像？：用大型语言模型理解图 [论文]
(arxiv'2023) 当图数据遇到多模态：图理解和推理的新范式 [论文]

需要微调

(arxiv'2023) 自然语言是图所需的全部 [论文]
(NeurIPS'2024) WalkLM：用于属性图嵌入的统一语言模型微调框架 [论文]
(arxiv'2024) LLaGA：大型语言和图助手 [论文]
(arxiv'2024) InstructGraph：通过以图为中心的指令微调和偏好对齐提升大型语言模型 [论文]
(arxiv'2024) ZeroG：调查图中跨数据集零样本迁移能力 [论文]
(arxiv'2024) GraphWiz：用于图问题的指令遵循语言模型 [论文]
(arxiv'2024) GraphInstruct：赋予大型语言模型图理解和推理能力 [论文]
(arxiv'2024) MuseGraph：面向通用图挖掘的大型语言模型图导向指令微调 [论文]

贡献

如果您发现相关资源，欢迎提交拉取请求。

- (期刊/会议'20XX) **论文名称** [[论文](https://github.com/HKUDS/Awesome-LLM4Graph-Papers/blob/main/链接]

要将论文添加到调查中，请考虑在PR中提供更详细的信息 😊

GNNs作为前缀
  - (节点级标记化 / 图级标记化)
LLMs作为前缀
  - (LLMs的嵌入用于GNNs / LLMs的标签用于GNNs)
LLMs-图集成
  - (GNNs和LLMs的对齐 / GNNs和LLMs的融合训练 / LLMs用于图的代理)
仅使用LLMs
  - (无需微调 / 需要微调)
请也考虑提供关于该方法的简短介绍，以帮助我们快速将论文添加到我们的调查中 :)