大型语言模型调查综述

大型语言模型(LLMs)正在人工智能的许多领域取得巨大进展。因此,对LLMs的研究兴趣和进展呈爆炸式增长。现在每天都有数百篇关于LLMs的研究论文在各种会议上发表或发布到开放存取档案中。鉴于LLM相关论文的显著增长,本文汇编了关于LLMs的调查,以提供该领域的全面概述。这些调查大多发表或发布于过去几年,因此这个集合相对较新。我们希望我们的汇编能对想要快速了解该领域的人有所帮助。

大纲

• 综合调查
• Transformer
• 对齐
• 提示学习
  • 上下文学习
  • 思维链
  • 提示工程
  • 推理
• 数据
• 评估
• 社会问题
• 安全性
  • 来源检测
  • 安全
• 错误信息
  • 幻觉
  • 事实性
• LLMs的属性
• 高效LLMs
• LLMs的学习方法
• 多模态LLMs
• 基于知识的LLMs
  • 检索增强LLMs
  • 知识编辑
• LLMs的扩展
  • LLMs与工具
  • LLMs与交互
• 长序列LLMs
• LLMs应用
  • 教育
  • 法律
  • 医疗保健
  • 游戏
  • NLP任务
  • 软件工程
  • 推荐系统
  • 图
  • 其他

调查列表

综合调查

• 大型语言模型:一项调查, arXiv 2024.02 [论文]

• AI生成内容(AIGC)的综合调查:从GAN到ChatGPT的生成式AI历史, arXiv 2023.03 [论文]

• 大型语言模型调查, arXiv 2023.11 [论文] [GitHub]

• 大型语言模型的挑战和应用, arXiv 2023.07 [论文]

• 实践中利用LLMs的力量:关于ChatGPT及其他模型的调查, arXiv 2023.04 [论文] [GitHub]

• 大型语言模型调查:应用、挑战、局限性和实际使用, TechRxiv 2023.07 [论文] [GitHub]

• 预训练基础模型的综合调查:从BERT到ChatGPT的历史, arXiv 2023.05 [论文]

• 大型语言模型的全面概述, arXiv 2023.07 [论文] [GitHub]

• 预训练、提示和预测:自然语言处理中提示方法的系统调查, ACM计算调查 2023.01 [论文]

Transformer

• Transformer调查, arXiv 2022.10 [论文]

• Transformer简介:NLP视角, arXiv 2023.11 [论文] [GitHub]

• 高效Transformer:一项调查, arXiv 2022.12 [论文]

• 更快更轻的Transformer实用调查, arXiv 2023.07 [论文]

• 注意力机制、Transformer、BERT和GPT:教程与调查, arXiv 2020.12 [论文]

对齐

• 弥合差距:整合(人类)反馈以进行自然语言生成的调查, arXiv 2023.06 [论文]

• AI对齐:全面调查, arXiv 2024.02 [论文]

• 大型语言模型对齐:一项调查, arXiv 2023.09 [论文]

• 从指令到内在人类价值观 -- 大模型对齐目标调查, arXiv 2023.09 [论文] [GitHub]

• 将大型语言模型与人类对齐:一项调查, arXiv 2023.07 [论文] [GitHub]

• 大型语言模型指令微调调查, arXiv 2023.08 [论文]

• 指令跟随的全面调查, arXiv 2024.01 [论文] [GitHub]

提示学习

上下文学习

• 零样本提示设计用于上下文学习的实用调查, ranlp 2023.09 [论文]

• 上下文学习调查, arXiv 2023.06 [论文]

思维链

• 思维链推理调查:进展、前沿和未来, arXiv 2023.10 [论文] [GitHub]

• 更好的思维链提示策略:一项调查, arXiv 2023.10 [论文]

• 点燃语言智能：从思维链推理到语言代理的搭车指南，arXiv 2023.11 [论文] [GitHub]

提示工程

• 大型语言模型的提示框架：一项调查，arXiv 2023.11 [论文] [GitHub]

• 释放大型语言模型中提示工程的潜力：一项综合回顾，arXiv 2023.10 [论文]

推理

• 迈向大型语言模型中的推理：一项调查，arXiv 2022.12 [论文] [GitHub]

• 基础模型推理调查，arXiv 2023.12 [论文] [GitHub]

数据

• 大型语言模型的数据管理：一项调查，arXiv 2023.12 [论文] [GitHub]

• 语言模型数据选择调查，arXiv 2024.02 [论文]

• 大型语言模型数据集：全面调查，arXiv 2024.02 [论文] [GitHub]

• 用于数据标注的大型语言模型：一项调查，arXiv 2024.02 [论文] [GitHub]

• 大型语言模型指令微调数据选择调查，arXiv 2024.02 [论文]

• 大型语言模型知识蒸馏调查，arXiv 2024.02 [论文]

评估

• 评估大型语言模型：全面调查，arXiv 2023.10 [论文] [GitHub]

• 大型语言模型评估调查，arXiv 2023.07 [论文] [GitHub]

• 评估大型语言模型能力的初步尝试，arXiv 2023.06 [论文]

社会问题

• 大型语言模型公平性调查，arXiv 2023.08 [论文]

• 作为子群体代表模型的大型语言模型：一项回顾，arXiv 2023.10 [论文]

• 32门大学课程中对话人工智能的感知、表现和可检测性，SCI REP-UK 2023.08 [论文]

• ChatGPT应该有偏见吗？大型语言模型中偏见的挑战和风险，arXiv 2023.04 [论文]

• 大型语言模型中的偏见和公平性：一项调查，arXiv 2023.09 [论文] [GitHub]

安全性

来源检测

• 大型语言模型生成内容检测调查，arXiv 2023.10 [论文] [GitHub]

• 大型语言模型生成文本检测调查：必要性、方法和未来方向，arXiv 2023.10 [论文] [GitHub]

• 检测ChatGPT：检测ChatGPT生成文本的现状调查，arXiv 2023.09 [论文]

• 检测大型语言模型生成文本的科学，arXiv 2023.02 [论文]

安全

• 对抗性攻击揭示的大型语言模型漏洞调查，arXiv 2023.10 [论文]

• 大型语言模型(LLM)安全和隐私调查：好的、坏的和丑陋的，arXiv 2023.12 [论文]

• 诱使大型语言模型不服从：形式化、分析和检测越狱，arXiv 2023.05 [论文]

• 通过验证和确认视角看大型语言模型的安全性和可信度调查，arXiv 2023.05 [论文]

虚假信息

幻觉

• 知识图谱能否减少大型语言模型中的幻觉？：一项调查，arXiv 2023.11 [论文]

• 大型语言模型幻觉调查：原理、分类、挑战和开放问题，arXiv 2023.11 [论文] [GitHub]

• "大型"基础模型中幻觉调查，arXiv 2023.09 [论文] [GitHub]

• 人工智能海洋中的海妖之歌：大型语言模型幻觉调查，arXiv 2023.09 [论文] [GitHub]

• 认知幻象：大型语言模型幻觉综述，arXiv 2023.09 [论文] [GitHub]

• 用知识增强大型语言模型：防止幻觉的调查，arXiv 2023.09 [论文]

• 大型语言模型幻觉缓解技术的全面调查，arXiv 2024.01 [论文]

事实性

• 可信的大型语言模型：评估大型语言模型对齐的调查和指南，arXiv 2023.08 [论文]

• 大型语言模型中的事实性调查：知识、检索和领域特异性，arXiv 2023.10 [论文] [GitHub]

• 给我事实！预训练语言模型中事实知识探测调查，arXiv 2023.10 [论文]

大型语言模型的属性

• 大型语言模型可解释性调查，arXiv 2023.09 [论文]

• 大型语言模型的神秘与魅力：对涌现能力的解释和分析的全面调查，arXiv 2023.11 [论文]

• 从理解到应用：大型语言模型可解释性调查，arXiv 2024.01 [论文]

• 大型语言模型归因调查，arXiv 2023.11 [论文] [GitHub]

• 语言模型置信度估计和校准调查，arXiv 2023.11 [论文]

• 自然语言理解中大型语言模型的捷径学习，COMMUN ACM 2023.12 [论文]

• 自动纠正大型语言模型：多样化自我纠正策略调查，arXiv 2023.08 [论文] [GitHub]

高效大型语言模型

• 高效大型语言模型：调查，arXiv 2023.12 [论文] [GitHub]

• 大型语言模型推理揭秘：调查与屋顶线模型洞察，arXiv 2024.03 [论文]

• 走向高效生成式大型语言模型服务：从算法到系统的调查，arXiv 2023.12 [论文]

• 大型语言模型压缩调查，arXiv 2023.08 [论文]

• 语言模型压缩算法全面调查，arXiv 2024.01 [论文]

• 大型语言模型的效率谱系：算法调查，arXiv 2023.10 [论文] [GitHub]

• 预训练语言模型参数高效微调方法：批评性回顾与评估，arXiv 2023.12 [论文]

• 大型语言模型的模型压缩和高效推理：调查，arXiv 2024.02 [论文]

• 解锁大型语言模型推理效率：推测解码全面调查，arXiv 2024.01 [论文] [GitHub]

• 大型语言模型硬件加速器调查，arXiv 2024.01 [论文]

大型语言模型学习方法

• 大型语言模型的知识遗忘：任务、方法和挑战，arXiv 2023.11 [论文]

• 预训练模型的持续学习：调查，arXiv 2024.01 [论文] [GitHub]

• 大型语言模型的持续学习：调查，arXiv 2024.02 [论文]

多模态大型语言模型

• 视觉-语言指令微调：回顾与分析，arXiv 2023.11 [论文] [GitHub]

• 大型语言模型遇上计算机视觉：简要调查，arXiv 2023.11 [论文]

• 定义视觉新时代的基础模型：调查与展望，arXiv 2023.07 [论文] [GitHub]

• 大型语言模型视频理解：调查，arXiv 2023.12 [论文] [GitHub]

• 时间序列和时空数据的大型模型：调查与展望，arXiv 2023.10 [论文] [GitHub]

• 大型音频模型的火花：调查与展望，arXiv 2023.08 [论文] [GitHub]

• 如何弥合模态之间的差距：多模态大型语言模型全面调查，arXiv 2023.11 [论文]

• 多模态大型语言模型调查，arXiv 2023.06 [论文]

• 多模态大型语言模型：调查，arXiv 2023.11 [论文]

基于知识的大型语言模型

检索增强型大型语言模型

• 建立对话式AI的信任：使用大型语言模型和知识图谱的可解释、隐私保护系统的全面回顾和解决方案架构，arXiv 2023.08 [论文]

• 检索增强文本生成调查，arXiv 2022.02 [论文]

• 大型语言模型的检索增强生成：调查，arXiv 2023.12 [论文] [GitHub]

知识编辑

• 知识与大型语言模型集成的趋势：方法、基准和应用的调查与分类，arXiv 2023.11 [论文]

• 大型语言模型的知识编辑：调查，arXiv 2023.10 [论文]

• 编辑大型语言模型：问题、方法和机遇，arXiv 2023.05 [论文]

大型语言模型的扩展

带工具的大型语言模型

• 神经代码智能调查：范式、进展及展望，arXiv 2024.03 [论文] [GitHub]

• 决策基础模型：问题、方法和机遇，arXiv 2023.03 [论文]

• 增强语言模型：调查，arXiv 2023.02 [论文]

• 代码智能语言模型的陷阱：分类和调查，arXiv 2023.10 [论文] [GitHub]

• 大型语言模型遇上NL2Code：调查，arXiv 2022.12 [论文]

大型语言模型与交互

• 用于机器人的大型语言模型：调查，arXiv 2023.11 [论文]

• 自动驾驶多模态大型语言模型调查，WACV workshop 2023.11 [论文]

• LLM4Drive：自动驾驶大型语言模型调查，arXiv 2023.11 [论文] [GitHub]

• 基于大语言模型的自主智能体调查，arXiv 2023.08 [论文] [GitHub]

• 基于大语言模型的智能体的兴起与潜力：一项调查，arXiv 2023.09 [论文] [GitHub]

• 大语言模型赋能的基于智能体的建模与仿真：调查与展望，arXiv 2023.12 [论文]

• 大型多模态智能体：一项调查，arXiv 2024.02 [论文] [GitHub]

• 与大语言模型角色扮演，arXiv 2023.11 [论文]

长序列大语言模型

• 长上下文大语言模型中Transformer架构的进展：综合调查，arXiv 2023.11 [论文]

• Transformer长度外推：从位置编码角度的调查，arXiv 2023.12 [论文]

大语言模型应用

教育

• ChatGPT及其他：生成式人工智能在教育领域的革命，arXiv 2023.11 [论文]

• ChatGPT和大语言模型在学术界：机遇与挑战，arXiv 2023.07 [论文]

• ChatGPT有益吗？关于大语言模型在教育中的机遇与挑战，arXiv 2023.04 [论文]

法律

• 法律领域的大语言模型：一项调查，arXiv 2023.11 [论文]

• 从法律角度看待大语言模型的简短调查，arXiv 2023.03 [论文]

医疗保健

• 医学领域大语言模型调查：进展、应用和挑战，arXiv 2023.11 [论文] [GitHub]

• 大语言模型照亮人工智能医疗助手的渐进路径：综述，arXiv 2023.11 [论文] [GitHub]

• 医疗信息学中的大型人工智能模型：应用、挑战和未来，arXiv 2023.03 [论文] [GitHub]

• ChatGPT在医学文献中的优势、劣势、机遇和威胁(SWOT)分析：简要回顾，JMIR 2023.11 [论文]

• 医疗保健中的ChatGPT：分类法和系统综述，《生物医学计算方法与程序》2024.01 [论文]

• 识别改进途径的心理健康会话代理可解释性和安全性综述，NCBI 2023.10 [论文]

• 迈向心理学通用人工智能：大语言模型当前应用及未来前景调查，arXiv 2023.12 [论文]

• 心理健康护理中的大语言模型：范围界定综述，arXiv 2024.01 [论文]

• ChatGPT作为大语言模型在医疗教育、研究和实践中的效用示例：关于未来前景的系统综述，arXiv 2023.12 [论文]

• 医疗保健中大语言模型（或生成式人工智能）监管监督的必要性，arXiv 2023.07 [论文]

• 医疗保健大语言模型调查：从数据、技术和应用到责任和伦理，arXiv 2023.10 [论文] [GitHub]

• 临床基础模型的不稳固基础：电子病历大语言模型和基础模型调查，arXiv 2023.03 [论文]

游戏

• 大语言模型与游戏：调查与路线图，arXiv 2024.02 [论文]

• 大语言模型与视频游戏：初步范围界定综述，arXiv 2024.03 [论文]

自然语言处理任务

• 大语言模型在信息检索中的应用：一项调查，arXiv 2023.08 [论文] [GitHub]

• 生成式信息抽取的大语言模型：一项调查，arXiv 2023.12 [论文] [GitHub]

• 基于大型预训练语言模型的自然语言处理最新进展：一项调查，arXiv 2021.11 [论文]

• 如果大语言模型是巫师，那么代码就是魔杖：代码如何赋能大语言模型成为智能代理的调查，arXiv 2024.01 [论文]

软件工程

• 软件工程中的大语言模型：调查与开放问题，arXiv 2023.10 [论文]

• 软件工程中的大语言模型：系统文献综述，arXiv 2023.08 [论文]

• 使用大语言模型进行软件测试：调查、现状和愿景，arXiv 2023.07 [论文]

• 统一自然语言处理和软件工程的视角：代码语言模型调查，arXiv 2024.01 [论文] [GitHub]

推荐系统

• 推荐系统的基础模型：调查与新视角，arXiv 2024.02 [论文]

• 大语言模型时代的用户建模：当前研究和未来方向，arXiv 2023.11 [论文] [GitHub]

• 个性化和可解释推荐的大语言模型调查，arXiv 2023.11 [论文]

• 生成式推荐的大语言模型：调查与前瞻性讨论，arXiv 2023.09 [论文]

• 推荐系统中的大语言模型调查，arXiv 2023.05 [论文] [GitHub]

• 推荐系统如何从大语言模型中受益：一项调查，arXiv 2023.06 [论文] [GitHub]

图

• 图与大语言模型的结合：进展与未来方向调查，arXiv 2023.11 [论文]

• 图上的大型语言模型：综合调查，arXiv 2023.12 [论文] [GitHub]

• 视觉语言学习中知识的贡献：任务和挑战调查，arXiv 2023.03 [论文]

其他

• 金融领域的大型语言模型：调查，ICAIF 2023.11 [论文]

• 数学语言模型：调查，arXiv 2023.12 [论文]

• 人工智能在环境学科的最新应用：综述，SCI TOTAL ENVIRON 2023.10 [论文]

• 在建筑能效和脱碳研究中应用大型语言模型的机遇与挑战：探索性概述，arXiv 2023.12 [论文]

• 当大型语言模型遇上引用：调查，arXiv 2023.09 [论文]

• 大型语言模型时代的文本水印调查，arXiv 2023.12 [论文]

• GPT的未来：现有ChatGPT研究、当前挑战和可能的未来方向分类，SSRN 2023.04 [论文]

• ChatGPT相关研究总结及对大型语言模型未来的展望，Meta-Radiology 2023.09 [论文]

致谢

我们要感谢为这个项目做出贡献的人。核心贡献者是

阮俊豪、孟龙、单伟桥、肖桐、朱靖波