渐进提示法改善大型语言模型的推理能力

图1：渐进提示法（PHP）与大语言模型的交互。

PHP：简单有效的方法，用于提高大语言模型的推理能力。
郑传洋、刘正英、谢恩泽、李振国 和 李煜
预印本论文

本仓库包含PHP的官方Pytorch实现代码。 如图1所示，PHP是一种简单、有效且强大的方法。它可以轻松地与先前的工作（如思维链和自洽性）结合使用，因为它们是相互正交的。

新闻

• [2023/06/05]：使用PHP和自洽性（K=40），我们在GSM8K数据集上达到了新的最佳水平：96.5！
• [2023/05/11]：我们更新了MATH数据集的代码和数据
• [2023/05/02]：我们在MATH数据集上达到了53.9%的最佳性能，这是目前最具挑战性的推理数据集！我们将很快更新论文和代码！感谢您的关注！！！
• [2023/04/25]：我们更新了数据集！
• [2023/04/21]：我们上传了代码！

PaperWithCode排行榜

我们在AQuA、SVAMP、GSM8K和MATH数据集上取得了最佳性能，如SVAMP排行榜、GSM8K排行榜和MATH排行榜所示（日期：2023年5月5日）

我们在GSM8K数据集上达到了最佳性能。

我们在MATH数据集上达到了最佳性能。

安装

pip install jsonlines
pip install openai

使用

代码需要配置您账户的密钥，可在网站上获取。 将openai.api_key设置为其值：

import openai
openai.api_key = "sk-..."

运行

我们使用以下方式运行main_clean：

python python main_clean.py --prompt_dir [基础提示] --eng [openAI模型] --seed [种子数] --hint [PHP提示] --dataset [数据集名称] --num_test -1 --q1 [ori: 标准或CoT, complex: 复杂CoT] --q2 [ori: 标准或CoT, complex: 复杂CoT] --sample [样本数] --temp [0.0为贪婪, 0.7为自洽性]

或者，我们可以直接使用bash目录中的文件：

bash bash/cot.sh

结果

我们这里只展示了使用GPT-3.5-Turbo和GPT-4的复杂CoT结果。有关更多实验结果（如text-davinci-002和text-davinci-003），请参阅我们的论文。

表8：使用GPT-3.5-Turbo和GPT-4的渐进提示法（PHP）。当模型更强大时，PHP效果更好。

引用

@article{zheng2023progressive,
  title={Progressive-hint prompting improves reasoning in large language models},
  author={Zheng, Chuanyang and Liu, Zhengying and Xie, Enze and Li, Zhenguo and Li, Yu},
  journal={arXiv preprint arXiv:2304.09797},
  year={2023}
}