PanelGPT：通过专家讨论激发提示语言模型的潜力

三个臭皮匠，顶个诸葛亮。——中国古谚

💡: 💁🏼🎤 (👾💬) (🤖💭) (🤯🗯)

我们介绍了一种新的零样本提示魔术词汇，提升语言模型推理能力：Panel Discussion（专家讨论）！

动机

在会议和研讨会中，总会有专家之间的小组讨论。人们就特定话题交换意见，增进对新概念的理解，改变思维方式，并对当前的辩论或讨论有更全面的认识。

这个想法与自我一致性工作的相关性很大 (Wang, Xuezhi, et al.)（因为多个专家在专家讨论中可能会有分歧。）

基准测试的实证结果

我们在GSM8K数据集上使用gpt-3.5-turbo api评估了提出的提示方法的有效性。

在GSM8k测试数据集的1k数据集上评估每个提示的成本低于2美元。

我们的专家讨论提示达到了最佳表现，消融研究显示了每个元素的益处。 次优和_第三优_分别用下划线和_斜体_格式标识。

相关工作

零样本和少样本提示

零样本提示的能力在训练了大量数据的语言模型中逐渐显现，如GPT-3和GPT-4（Ouyang et al., 2022; OpenAI, 2023）。Wei等人（2021）指出，任务指令精调整提高了语言模型的零样本学习能力。

尽管大型语言模型展示了令人印象深刻的零样本性能，但在执行更复杂的任务时，这些模型往往表现不佳。利用少样本提示是一种可行的方法，可以促进上下文学习（Brown et al., 2020; Min et al., 2022）。这种技术需要在提示中包含演示，有效地引导模型获得更好的性能。这些演示作为调节机制，用于随后示例的生成，从而使模型产生更好的响应。

连锁思维提示

在一些更具挑战性的任务中，如复杂算术、常识和符号推理任务，连锁思维（CoT）提示被证明在帮助语言模型获得正确答案方面更有效（Wei et al., 2022）。CoT在少样本提示示例中包含了额外的推理步骤。Kojima等人（2022）进一步引入了零样本连锁思维，表明添加任务无关的指令可以提高模型在特定任务中的性能。在Zhang等人（2022b）中，Auto-CoT结合了零样本连锁思维的普遍性和基于演示的原始连锁思维的能力，提出了基于聚类和多样性采样自动构建有利于连锁思维推理的演示。

其他提示策略

Wang等人（2022）通过采样多个不同的推理路径并边缘化这些路径，选择所有采样推理路径中最一致的答案，提高了少样本连锁思维法。生成知识提示Liu等人（2021）通过结合与问题相关的知识或信息以做出更准确的预测，改善了常识推理。树状思维方法（ToT）（Long，2023；Yao等人，2023）将基于树的规划方法与语言模型的推理技能相结合，通过多轮对话一步一步解决困难的推理问题。Hulbert（2023）也提出了一个相关的想法，在一个提示中借用语言模型的多重思考。记忆与检索增强生成（RAG）（Lewis等人，2020），它能够在完成知识密集型任务时结合参数化记忆和非参数化记忆如维基百科。MoT（Li & Qiu，2023）：基于外部未标注数据集进行推测，并在推理过程中回忆相关知识。

扩展到基于离线逆强化学习的自动提示生成

Prompt-OIRL提出了使用离线逆强化学习进行离线提示评估和优化的想法。该方法高效且有效。在M2芯片MacBook Air上训练Prompt-OIRL仅需1小时，但在算术推理任务上不同LLM的性能可以提高最多24%。

引用

如果你使用了我们的代码和提示，请考虑引用我们的论文：

@inproceedings{sun2023query,
  title={Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL},
  author={Sun, Hao and H{\"u}y{\"u}k, Alihan and van der Schaar, Mihaela},
  booktitle={The Twelfth International Conference on Learning Representations},
  year={2023}
}

@article{sun2023reinforcement,
  title={Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond},
  author={Sun, Hao},
  journal={arXiv preprint arXiv:2310.06147},
  year={2023}
}