Awesome-LLM-KG
关于统一大型语言模型(LLMs)和知识图谱(KGs)的论文和资源合集。
大型语言模型(LLMs)在各种应用中取得了显著的成功和普适性。然而,它们往往无法捕捉和访问事实知识。知识图谱(KGs)是结构化的数据模型,明确地存储丰富的事实知识。然而,KGs很难构建,现有的KG方法在处理现实世界KG的不完整和动态变化方面不足。因此,将LLMs和KGs结合起来,同时利用它们的优势是很自然的。
新闻
🔭 该项目正在开发中。你可以点击STAR和WATCH来关注更新。
- 我们的关于分析LLM推理的KG论文:Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs 已被ACL 2024接受。
- 我们的路线图论文 已被TKDE接受。
- 我们的关于LLM探测的KG论文:Systematic Assessment of Factual Knowledge in Large Language Models 已被EMNLP 2023接受。
- 我们的KG+LLM推理论文:Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning 已被ICLR 2024接受。
- 我们的关于KG推理的LLM论文:ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning 现已公开。
- 我们的路线图论文:Unifying Large Language Models and Knowledge Graphs: A Roadmap 现已公开。
概述
在这个仓库中,我们收集了近年来统一LLMs和KGs的最新进展。我们提供了一张总结了三种通用框架的路线图:1) KG增强的LLMs,2) LLMs增强的KGs,以及3) 协同的LLMs + KGs。
我们还展示了涉及的技术和应用。
我们希望这个仓库能帮助研究人员和从业人员更好地理解这个新兴领域。 如果这个仓库对你有帮助,请通过引用这篇论文来帮助我们:
@article{llm_kg,
title={Unifying Large Language Models and Knowledge Graphs: A Roadmap},
author={Pan, Shirui and Luo, Linhao and Wang, Yufei and Chen, Chen and Wang, Jiapu and Wu, Xindong},
journal={IEEE Transactions on Knowledge and Data Engineering (TKDE)},
year={2024}
}
目录
相关调查
- 统一大型语言模型和知识图谱:路线图 (TKDE, 2024) [论文]
- 知识增强的预训练语言模型概述 (Arxiv, 2023) [论文]
- 有关预训练语言模型的知识密集型NLP调查 (Arxiv, 2022) [论文]
- 作为知识库的语言模型综述 (Arxiv, 2022) [论文]
- 生成性知识图谱构建:综述(EMNLP, 2022) [论文]
- 知识增强预训练语言模型:综合调查 (Arxiv, 2021) [论文]
- 基于不同类型的知识图谱的推理:静态、时间和多模态 (Arxiv, 2022) [论文][代码]
KG增强的LLMs
KG增强的LLM预训练
- ERNIE: 增强了信息实体的语言表示 (ACL, 2019) [论文]
- 通过图引导的表示学习在文本中利用结构化知识 (EMNLP, 2019) [论文]
- SKEP: 用于情感分析的情感知识增强预训练 (ACL, 2020) [论文]
- E-bert: 增强电子商务语言模型的短语和产品知识 (Arxiv, 2020) [论文]
- 预训练百科全书:弱监督的知识预训练语言模型 (ICLR, 2020) [论文]
- BERT-MK: 将图上下文化知识整合到预训练语言模型中 (EMNLP, 2020) [论文]
- K-BERT: 用知识图谱增强语言表示 (AAAI, 2020) [论文]
- CoLAKE: 上下文化的语言与知识嵌入 (COLING, 2020) [论文]
- Kepler: 一个统一的知识嵌入和预训练语言表示模型 (TACL, 2021) [论文]
- K-Adapter: 用适配器将知识注入预训练模型 (ACL Findings, 2021) [论文]
- Cokebert: 上下文知识选择和嵌入以增强预训练语言模型 (AI Open, 2021) [论文]
- Ernie 3.0: 大规模的知识增强预训练,用于语言理解和生成 (Arxiv, 2021) [论文]
- 用确定性事实知识预训练语言模型 (EMNLP, 2022) [论文]
- Kala: 知识增强的语言模型适配 (NAACL, 2022) [论文]
- DKPLM: 解构的知识增强预训练语言模型,用于自然语言理解 (AAAI, 2022) [论文]
- Dict-BERT: 用词典增强语言模型预训练 (ACL Findings, 2022) [论文]
- JAKET: 知识图谱和语言理解的联合预训练 (AAAI, 2022) [论文]
- 电信知识预训练,用于故障分析 (ICDE, 2023) [论文]
KG增强的LLM推理
- 巴拉克的妻子希拉里: 使用知识图谱进行事实感知的语言建模 (ACL, 2019) [论文]
- 用于知识密集型NLP任务的检索增强生成 (NeurIPS, 2020) [论文]
- Realm: 检索增强的语言模型预训练 (ICML, 2020) [论文]
- QA-GNN: 用语言模型和知识图谱推理来回答问题 (NAACL, 2021) [论文]
- 增强记忆和知识的语言模型,用于推导长篇故事的显著性 (EMNLP, 2021) [论文]
- JointLK: 用语言模型和知识图谱联合推理,进行常识问答 (NAACL, 2022) [论文]
- 在大语言模型中通过动态基于文档的知识图增强故事理解 (AAAI, 2022) [论文]
- Greaselm: 图推理增强的语言模型 (ICLR, 2022) [论文]
- 用于知识密集型NLP任务的高效记忆增强转换器 (EMNLP, 2022) [论文]
- 知识增强的语言模型提示,用于零样本知识图问答 (NLRSE@ACL, 2023) [论文]
KG增强的LLM可解释性
- 语言模型作为知识库 (EMNLP, 2019) [论文]
- Kagnet: 知识感知图网络用于常识推理 (Arxiv, 2019) [论文]
- AutoPrompt: 用自动生成的提示词从语言模型中提取知识 (EMNLP, 2020) [论文]
- 我们怎么知道语言模型知道什么? (ACL, 2020) [论文]
- 预训练变压器中的知识神经元 (ACL, 2021) [论文]
- 语言模型能成为生物医学知识库吗? (EMNLP, 2021) [论文]
- 通过知识图谱提取解释语言模型 (Arxiv, 2021) [论文]
- QA-GNN: 用语言模型和知识图谱推理来回答问题 (ACL, 2021) [论文]
- 如何查询语言模型? (Arxiv, 2021) [论文]
- 重排再探:一种对比题材的探测生物医学知识的方法 (Arxiv, 2021) [论文]
- 何时不信任语言模型:研究参数和非参数记忆的有效性和局限性 (Arxiv, 2022) [论文]
- 预训练语言模型如何捕捉事实知识?一种因果启发的分析 (Arxiv, 2022) [论文]
- 知识图能简化文本吗? (CIKM, 2023) [论文]
LLM增强的KGs
LLM增强的KG嵌入
- LambdaKG: 使用预训练语言模型的知识图嵌入库 (Arxiv, 2023) [论文]
- 在超复杂空间中结合知识图嵌入和预训练语言模型 (Arxiv, 2022) [论文]
- 为语言模型赋予多模态知识图表示 (Arxiv, 2022) [论文]
- 语言模型引导的知识图嵌入 (IEEE Access, 2022) [论文]
- 语言模型作为知识嵌入 (IJCAI, 2022) [论文]
- Pretrain-KGE: 从预训练语言模型学习知识表示 (EMNLP, 2020) [论文]
- KEPLER: 一个统一的知识嵌入和预训练语言表示模型 (TACL, 2020) [论文]
基于大语言模型(LLM)的知识图谱补全
- 使用大语言模型的多角度知识图谱补全改进(COLING 2024)[PDF] [代码]
- KG-BERT: 用于知识图谱补全的BERT(Arxiv,2019)[PDF]
- 用预训练语言模型进行知识图谱补全的多任务学习(COLING,2020)[PDF]
- 预训练模型对知识图谱补全有益吗?可靠的评估和合理的方法(ACL,2022)[PDF]
- 知识图谱补全的联合语言语义和结构嵌入(COLING,2022)[PDF]
- MEM-KGC:使用预训练语言模型的掩码实体模型进行知识图谱补全(IEEE Access,2021)[PDF]
- 通过统一学习方法用预训练语言模型扩展知识图谱(Knowl. Based Syst.,2023)[PDF]
- 利用结构增强的文本表示学习进行高效的知识图谱补全(WWW,2021)[PDF]
- Simkgc:用预训练语言模型进行简单对比知识图谱补全(ACL,2022)[PDF]
- Lp-bert:用于链接预测的多任务预训练知识图谱bert(Arxiv,2022)[PDF]
- 从判别到生成:使用生成型变换器进行知识图谱补全(WWW,2022)[PDF]
- 序列到序列知识图谱补全和问答(ACL,2022)[PDF]
- 知识是平的:用于各种知识图谱补全的seq2seq生成框架(COLING,2022)[PDF]
- 用于适应预训练语言模型进行知识图谱补全的框架(EMNLP,2022)[PDF]
- Dipping plms sauce:通过条件软提示桥接结构和文本以实现有效的知识图谱补全(ACL,2023)[PDF]
基于大语言模型的KG到文本生成
- GenWiki:一个包含130万条内容共享文本和图表的无监督图表到文本生成的数据集(COLING,2020)[PDF]
- KGPT:用于数据到文本生成的知识地面预训练(EMNLP 2020)[PDF]
- JointGT:用于从知识图谱生成文本的图文本联合表示学习(ACL Findings,2021)[PDF]
- 调查预训练语言模型在图表到文本生成中的应用(NLP4ConvAI,2021)[PDF]
- 使用预训练语言模型的少量样本知识图谱到文本生成(ACL,2021)[PDF]
- EventNarrative:一个大规模事件中心的数据集用于知识图谱到文本生成(Neurips,2021)[PDF]
- GAP:一种用于知识图谱到文本生成的图意识语言模型框架(COLING,2022)[PDF]
基于大语言模型的知识图谱问答
- UniKGQA:统一检索和推理以解决多跳问题回答知识图谱(ICLR,2023)[PDF]
- StructGPT:一个大语言模型推理结构化数据的通用框架(Arxiv,2023)[PDF]
- GPT-3在少量样本知识问答中的实证研究(AAAI,2022)[PDF]
- 预训练语言模型在简单知识图谱问答中的实证研究(World Wide Web Journal,2023)[PDF]
- 增强语言模型的知识图谱推理用于开放域问答(EMNLP,2022)[PDF]
- DRLK:结合语言模型和知识图谱的动态层次推理用于问答(EMNLP,2022)[PDF]
- 子图检索增强模型用于多跳知识库问答(ACL,2022)[PDF]
- GREASELM:增强图推理的语言模型用于问答(ICLR,2022)[PDF]
- LaKo:通过知识到文本的后期注入实现知识驱动的视觉问答(IJCKG,2022)[PDF]
- QA-GNN:结合语言模型和知识图谱的推理用于问答(NAACL,2021)[PDF]
协同大语言模型+知识图谱
知识表示
- 远程知识预训练用于故障分析(ICDE,2023)[PDF]
- 将领域特定的异构知识纳入统一表示的预训练语言模型(Expert Systems with Applications,2023)[PDF]
- 深度双向语言知识图谱预训练(NIPS,2022)[PDF]
- KEPLER:知识嵌入和预训练语言表示的统一模型(TACL,2021)[PDF]
- JointGT:用于从知识图谱生成文本的图文本联合表示学习(ACL 2021)[PDF]
推理
- 用于提升领域特定NLP任务的统一知识图谱增强服务(Arxiv,2023)[PDF]
- 统一结构推理和语言模型预训练用于复杂推理(Arxiv,2023)[PDF]
- 使用大语言模型进行知识图谱的复杂逻辑推理(Arxiv,2023)[PDF]
应用
推荐系统
- RecInDial:使用预训练语言模型的统一对话推荐框架(Arxiv,2023)[PDF]
故障分析
- 远程知识预训练用于故障分析(ICDE,2023)[PDF]