Chain-of-Thought Hub: 测量大语言模型的复杂推理能力

chain-of-thought-hub

Chain-of-Thought Hub简介

Chain-of-Thought Hub是由来自爱丁堡大学、华盛顿大学、Allen AI研究所和滑铁卢大学的研究人员共同开发的一个开源项目。该项目旨在通过一系列复杂的推理任务来评估大型语言模型(LLMs)的能力。

随着LLMs的快速发展,有些人声称一个不到10B参数的小模型就可以达到与GPT-3.5相当的性能。但事实真的如此吗?正如GPT-4发布博客中所说:"在日常对话中,GPT-3.5和GPT-4之间的区别可能很微妙。但当任务复杂度达到一定阈值时,差异就会显现出来 - GPT-4更可靠、更有创造力,能够处理更细微的指令。"

因此,关键的区别在于模型是否能够完成复杂任务。正如古语所说:"闲聊容易,展示推理才是关键。"这就是为什么该项目汇编了一系列复杂推理任务,包括数学(GSM8K)、科学(MATH、TheoremQA)、符号推理(BBH)、知识(MMLU、C-Eval)、编码(HumanEval)、事实推理(SummEdits)和长文本理解(RepoBench、Qspr、QALT、BkSS)等,以测量模型在具有挑战性的任务上的表现。

更重要的是,研究人员预见大语言模型将成为下一代计算平台,并孕育基于LLM的新应用生态系统。在这种情况下,链式思考提示工程将成为下一代系统调用和shell脚本。

主要任务和数据集

Chain-of-Thought Hub将任务分为三类:

主要任务:稳定且被LLM研发机构广泛参考的数据集。
实验性任务:有潜力测试未来LLM能力的数据集。
长文本任务:需要对很长上下文进行推理的数据集,这是未来LLM的一个重要方向。

主要任务包括:

GSM8K:小学数学应用题
MATH:竞赛级数学和科学问题
MMLU:多学科知识测试
BBH:具有挑战性的语言和符号推理
HumanEval:Python编码
C-Eval:中文多学科知识评估

实验性任务包括:

TheoremQA:定理证明
SummEdits:事实推理

长文本任务包括:

Qspr:对研究论文进行问答
QALT:对长文章和故事进行多项选择
BkSS:重新排序小说片段的摘要

评估结果

Chain-of-Thought Hub对多个主流大语言模型进行了评估,包括GPT-4、Claude、PaLM-2、LLaMA等。结果显示:

GPT-4在GSM8K和MMLU等任务上明显优于其他模型。
65B参数的LLaMA非常接近text/code-davinci-002的性能,这意味着如果对其进行适当的指令微调和人类反馈强化学习,很可能可以基于LLaMA复现出ChatGPT级别的性能。
Claude是唯一一个可以与GPT系列相媲美的模型家族。
在GSM8K上,gpt-3.5-turbo优于text-davinci-003,这验证了OpenAI在2023年1月30日发布说明中提到的"改进了数学能力"。