精彩的提示工程 🧙♂️
这个仓库包含精心挑选的提示工程资源,重点关注生成式预训练变换器(GPT)、ChatGPT、PaLM等。
提示工程课程即将推出...
提示工程课程即将推出...
目录
论文
📄
-
提示工程技术:
- 提示工程的文本挖掘:通过PLM进行文本增强的开放知识图谱补全 [2023] (ACL)
- 提示模式目录:通过ChatGPT增强提示工程 [2023] (Arxiv)
- 简易化的硬提示:基于梯度的离散优化用于提示调优和发现 [2023] (Arxiv)
- 合成提示:为大型语言模型生成连锁思维演示 [2023] (Arxiv)
- 渐进提示:语言模型的持续学习 [2023] (Arxiv)
- 批量提示:使用LLM APIs高效推理 [2023] (Arxiv)
- 连续提示:分解复杂问题的提示策略 [2022] (Arxiv)
- 结构化提示:扩展到1,000个示例的上下文学习 [2022] (Arxiv)
- 大型语言模型是人类级别的提示工程师 [2022] (Arxiv)
- 问我任何问题:一种简单的语言模型提示策略 [2022] (Arxiv)
- 提示GPT-3更可靠 [2022] (Arxiv)
- 分解式提示:解决复杂任务的模块化方法 [2022] (Arxiv)
- PromptChainer: 通过可视化编程链接大型语言模型的提示 [2022] (Arxiv)
- 在扩散模型中研究提示工程 [2022] (Arxiv)
- 展示你的工作:使用语言模型进行中间计算的草稿本 [2021] (Arxiv)
- 重新构建指令提示以适应GPTk的语言 [2021] (Arxiv)
- 神奇有序的提示及其获取方法:克服少样本提示顺序敏感性 [2021] (Arxiv)
- 规模的力量:参数高效提示调优 [2021] (Arxiv)
- 大型语言模型的提示编程:超越少样本范式 [2021] (Arxiv)
- 前缀调优:生成式提示的连续优化 [2021] (Arxiv)
-
推理与上下文学习:
-
多模态连锁思维推理在语言模型中的应用 [2023] (Arxiv)
-
再想想吧,让我们不要一步步推理!零样本推理中的偏见与有害内容 [2022] (Arxiv)
-
ReAct: 在语言模型中协同推理与行动 [2022] (Arxiv)
-
语言模型是贪婪的推理者:连锁思维的系统化形式分析 [2022] (Arxiv)
-
让语言模型成为更好的推理者的进展 [2022] (Arxiv)
-
大型语言模型是零样本推理者 [2022] (Arxiv)
-
像程序执行者一样推理 [2022] (Arxiv)
-
自我一致性提升语言模型的连锁思维推理能力 [2022] (Arxiv)
-
重新思考演示的作用:什么让上下文学习奏效? [2022] (Arxiv)
-
学习解释:用于科学问答的多模态连锁思维推理 [2022] (Arxiv)
-
连锁思维提示在大型语言模型中引发推理 [2021] (Arxiv)
-
生成知识提示用于常识推理 [2021] (Arxiv)
-
BERTese: 学习如何与BERT对话 [2021] (Acl)
-
-
评估与改进语言模型:
- [大型语言
-
Constitutional AI: Harmlessness from AI Feedback [2022] (Arxiv)
-
忽略之前的提示: 针对语言模型的攻击技术 [2022] (Arxiv)
-
机器生成文本: 威胁模型和检测方法的全面综述 [2022] (Arxiv)
-
通过手工制作的对抗样本评估预训练语言模型的易感性 [2022] (Arxiv)
-
使用生成性提示推理进行毒性检测 [2022] (Arxiv)
-
我们如何知道语言模型知道什么? [2020] (Mit)
-
少样本学习和性能优化:
- Promptagator: 从8个例子中进行少样本密集检索 [2022] (Arxiv)
- 文本推理少样本提示的解释不可靠性 [2022] (Arxiv)
- 使预训练语言模型成为更好的少样本学习者 [2021] (Acl)
- 语言模型是少样本学习者 [2020] (Arxiv)
-
文本到图像生成:
- 文本到图像生成的提示修饰词分类 [2022] (Arxiv)
- 提示工程文本到图像生成模型的设计指南 [2021] (Arxiv)
- 使用潜在扩散模型的高分辨率图像合成 [2021] (Arxiv)
- DALL·E: 从文本生成图像 [2021] (Arxiv)
-
文本到音乐/声音生成:
- MusicLM: 从文本生成音乐 [2023] (Arxiv)
- ERNIE-Music: 基于扩散模型的文本到波形音乐生成 [2023] (Arxiv)
- Noise2Music: 基于文本条件的音乐生成与扩散模型 [2023] (Arxiv)
- AudioLM: 一种音频生成的语言建模方法 [2023] (Arxiv)
- Make-An-Audio: 基于扩展提示的文本到音频生成 [2023] (Arxiv)
-
文本到视频生成:
- Dreamix: 视频扩散模型是通用的视频编辑器 [2023] (Arxiv)
- Tune-A-Video: 针对文本到视频生成的图像扩散模型的一次性微调 [2022] (Arxiv)
- Noise2Music: 基于文本条件的音乐生成与扩散模型 [2023] (Arxiv)
- AudioLM: 一种音频生成的语言建模方法 [2023] (Arxiv)
-
概述:
- 试验Copilot和Codex: 高温,冷提示,还是黑魔法? [2022] (Arxiv)
工具和代码
🔧
名称 | 描述 | 链接 |
---|---|---|
LlamaIndex | LlamaIndex是一个项目,由一组数据结构组成,旨在使使用大型外部知识库与LLM更容易。 | [Github] |
Promptify | 通过Promptify解决NLP问题,并轻松为流行的生成模型(如GPT、PaLM等)生成不同的NLP任务提示。 | [Github] |
Arize-Phoenix | 适用于ML可观察性的开源工具,可在您的笔记本环境中运行。监控和微调LLM、CV和表格模型。 | [Github] |
Better Prompt | 在推送到生产环境之前,测试LLM提示的测试套件。 | [Github] |
CometLLM | 记录、可视化和评估您的LLM提示、提示模板、提示变量、元数据等。 | [Github] |
Embedchain | 框架,用于在您的数据集上创建类似ChatGPT的机器人。 | [Github] |
Interactive Composition Explorerx | ICE是一个用于语言模型程序的Python库和轨迹可视化工具。 | [Github] |
Haystack | 开源NLP框架,用于使用LLM和Transformer与您的数据进行交互。 | [Github] |
LangChainx | 通过组合性构建LLM应用程序。 | [Github] |
OpenPrompt | 一个用于提示学习的开源框架。 | [Github] |
Prompt Engine | 此库包含一个NPM实用程序库,用于创建和维护大型语言模型(LLM)的提示。 | [Github] |
PromptInject | PromptInject是一个框架,模块化组装提示,以定量分析LLM对抗性提示攻击的鲁棒性。 | [Github] |
Prompts AI | GPT-3的高级操控场。 | [Github] |
Prompt Source | PromptSource是一个用于创建、共享和使用自然语言提示的工具包。 | [Github] |
ThoughtSource | 一个用于机器思维科学的框架。 | [Github] |
PROMPTMETHEUS | 一次性提示工程工具包。 | [Tool] |
AI Config | 一个开源的配置框架,用于构建LLM应用程序。 | [Github] |
LastMile AI | 类似笔记本的操控场,用于与跨不同模态(文本、语音、音频、图像)的LLM进行交互。 | [Tool] |
XpulsAI | 轻松构建可扩展的AI应用程序。AI & ML的自动操作平台。 | [Tool] |
Agenta | Agenta是一个开源的LLM开发者平台,集成了提示管理、评估、人类反馈和部署工具。 | [Github] |
Promptotype | 开发、测试和监控您的LLM{结构化}任务。 | [Tool] |
APIs
💻
名称 | 描述 | 链接 | 付费或开源 |
---|---|---|---|
OpenAI | GPT系列用于自然语言任务,Codex将 | ||
名称 | 描述 | 链接 | |
:-------------------- | :----------: | :----------: | |
ChatGPT | ChatGPT | [OpenAI] | |
Codex | Codex 模型是 GPT-3 模型的后代,能够理解和生成代码。它们的训练数据包含自然语言和来自 GitHub 的数十亿行公共代码 | [Github] | |
Bloom | BigScience 大型开放科学开放访问多语言模型 | [HuggingFace] | |
Facebook LLM | OPT-175B 是由 Meta 训练的 GPT-3 等效模型。目前它是可用的最大的预训练语言模型,具有 1750 亿参数。 | [Alpa] | |
GPT-NeoX | GPT-NeoX-20B 是一个在 The Pile 数据集上训练的 200 亿参数自回归语言模型 | [HuggingFace] | |
FLAN-T5 XXL | Flan-T5 是一个指令调优的模型,意味着当在提示中给出指令时,它表现出类似零样本学习的行为。 | [HuggingFace/Google] | |
XLM-RoBERTa-XL | XLM-RoBERTa-XL 模型是在 2.5TB 过滤后的 CommonCrawl 数据上进行预训练的,包含 100 种语言。 | [HuggingFace] | |
GPT-J | 这是一个在 The Pile 数据集上训练的类似 GPT-2 的因果语言模型 | [HuggingFace] | |
PaLM-rlhf-pytorch | 在 PaLM 架构上实现了人类反馈强化学习(RLHF)。基本上就是 ChatGPT,但使用的是 PaLM | [Github] | |
GPT-Neo | 使用 mesh-tensorflow 库实现的模型并行 GPT-2 和 GPT-3 风格的模型。 | [Github] | |
LaMDA-rlhf-pytorch | 在 PyTorch 中实现的 Google LaMDA 的开源预训练,添加了类似 ChatGPT 的 RLHF。 | [Github] | |
RLHF | 实现了基于人类反馈的强化学习(RLHF) | [Github] | |
GLM-130B | GLM-130B:一个开放的双语预训练模型 | [Github] | |
Mixtral-84B | Mixtral-84B 是一个拥有 8 个专家的专家混合(MOE)模型。 | [HuggingFace] |
AI 内容检测器
🔎
名称 | 描述 | 链接 |
---|---|---|
AI Text Classifier | AI Text Classifier 是一个经过微调的 GPT 模型,它预测一段文本有多大可能性是由 AI 生成的,例如来自 ChatGPT 的文本。 | [OpenAI] |
GPT-2 Output Detector | 这是一个基于 🤗/Transformers 的 RoBERTa 实现的 GPT-2 输出检测模型的在线演示。 | [HuggingFace] |
Openai Detector | 用于指示 AI 撰写文本的 AI 分类器(OpenAI Detector Python 包装器) | [GitHub] |
课程
👩🏫
教程
📚
-
提示工程入门
-
生成性语言模型的初学者指南
-
提示工程的最佳实践
-
提示工程的完整指南
-
提示工程的技术方面
-
提示工程的资源
视频
🎥
- 高级 ChatGPT 提示工程
- ChatGPT:初学者的 5 个提示工程秘密
- CMU 高级 NLP 2022:提示
- 提示工程 - 一个新的职业?
- ChatGPT 指南:通过更好的提示提升 10 倍效果
- 语言模型与提示工程:NLP 提示方法的系统调查
- 提示工程 101:自动完成、零样本、单样本和少样本提示
社区
🤝