LLM基准测试

评估LLM的基准测试和数据集集合。

知识和语言理解

大规模多任务语言理解（MMLU）

• 描述: 测量57个不同学科的一般知识，涵盖从STEM到社会科学的领域。
• 目的: 评估LLM在广泛学科领域的理解和推理能力。
• 相关性: 适用于需要广泛世界知识和问题解决能力的多功能AI系统。
• 来源: 测量大规模多任务语言理解
• 资源:
  • MMLU GitHub
  • MMLU数据集

AI2推理挑战（ARC）

• 描述: 通过小学科学问题测试LLM，需要深层的一般知识和推理能力。
• 目的: 评估回答需要逻辑推理的复杂科学问题的能力。
• 相关性: 适用于教育AI应用、自动辅导系统和一般知识评估。
• 来源: 认为你已经解决了问答？试试ARC，AI2推理挑战
• 资源:
  • ARC数据集：HuggingFace
  • ARC数据集：Allen研究所

通用语言理解评估（GLUE）

• 描述: 来自多个数据集的各种语言任务集合，旨在衡量整体语言理解能力。
• 目的: 在不同情境下提供全面的语言理解能力评估。
• 相关性: 对需要高级语言处理的应用至关重要，如聊天机器人和内容分析。
• 来源: GLUE：自然语言理解的多任务基准和分析平台
• 资源:
  • GLUE主页
  • GLUE数据集

自然问题

• 描述: 人们在Google上搜索的真实问题集合，与相关的维基百科页面配对以提取答案。
• 目的: 测试从基于网络的来源找到准确的短答案和长答案的能力。
• 相关性: 对搜索引擎、信息检索系统和AI驱动的问答工具至关重要。
• 来源: 自然问题：问答研究的基准
• 资源:
  • 自然问题主页
  • 自然问题数据集：Github

考虑话语方面的扩展语言建模（LAMBADA）

• 描述: 测试语言模型基于长距离上下文理解和预测文本能力的段落集合。
• 目的: 评估模型对叙事的理解和文本生成的预测能力。
• 相关性: 对叙事分析、内容创作和长篇文本理解的AI应用很重要。
• 来源: LAMBADA数据集：需要广泛话语上下文的词语预测
• 资源:
  • LAMBADA数据集：HuggingFace

HellaSwag

• 描述: 通过要求LLM以需要理解复杂细节的方式完成段落来测试自然语言推理。
• 目的: 评估模型生成上下文适当的文本续写的能力。
• 相关性: 适用于内容创作、对话系统和需要高级文本生成能力的应用。
• 来源: HellaSwag：机器真的能完成你的句子吗？
• 资源:
  • HellaSwag数据集：GitHub

多体裁自然语言推理（MultiNLI）

• 描述: 一个包含433K个跨多种英语数据体裁的句子对的基准，测试自然语言推理。
• 目的: 评估LLM基于前提为假设陈述分配正确标签的能力。
• 相关性: 对需要高级文本理解和推理的系统至关重要，如自动推理和文本分析工具。
• 来源: 通过推理理解句子的广泛覆盖挑战语料库
• 资源:
  • MultiNLI主页
  • MultiNLI数据集

SuperGLUE

• 描述: GLUE基准的高级版本，包含更具挑战性和多样化的语言任务。
• 目的: 评估语言理解和推理的更深层次方面。
• 相关性: 对需要高级语言处理能力的复杂AI系统很重要。
• 来源: SuperGLUE：通用语言理解系统的更具粘性基准
• 资源:
  • SuperGLUE数据集：HuggingFace

TriviaQA

• 描述: 一个阅读理解测试，包含来自维基百科等来源的问题，要求进行上下文分析。
• 目的: 评估在复杂文本中筛选上下文并找到准确答案的能力。
• 相关性: 适用于知识提取、研究和详细内容分析的AI系统。
• 来源: TriviaQA：一个大规模远程监督的阅读理解挑战数据集
• 资源:
  • TriviaQA GitHub
  • TriviaQa数据集

WinoGrande

• 描述: 基于Winograd模式挑战的大型问题集，测试句子中的上下文理解。
• 目的: 评估LLM掌握文本中微妙上下文和细微变化的能力。
• 相关性: 对处理叙事分析、内容个性化和高级文本解释的模型至关重要。
• 来源: WinoGrande：大规模的对抗性Winograd模式挑战
• 资源:
  • WinoGrande GitHub
  • WinoGrande数据集：HuggingFace

SciQ

• 描述: 由主要涉及物理、化学和生物等自然科学的多选题组成。
• 目的: 测试回答科学问题的能力，通常附有额外的支持文本。
• 相关性: 适用于教育工具，特别是科学教育和知识测试平台。
• 来源: 众包多选科学问题
• 资源:
  • SciQ数据集：HuggingFace

推理能力

GSM8K

• 描述： 一组8.5K道小学数学题目，涵盖基础到中级数学运算。
• 目的： 测试大语言模型解决多步骤数学问题的能力。
• 相关性： 用于评估AI解决基本数学问题的能力，在教育领域具有价值。
• 来源： 训练验证器解决数学应用题
• 资源：
  • GSM8K数据集

段落离散推理（DROP）

• 描述： 一个对抗性创建的阅读理解基准，要求模型在引用中导航并执行加法或排序等操作。
• 目的： 评估模型理解复杂文本和执行离散操作的能力。
• 相关性： 适用于需要逻辑推理的高级教育工具和文本分析系统。
• 来源： DROP：一个需要对段落进行离散推理的阅读理解基准
• 资源：
  • DROP数据集

反事实推理评估（CRASS）

• 描述： 评估大语言模型的反事实推理能力，重点关注"假如"场景。
• 目的： 评估模型基于给定数据理解和推理替代场景的能力。
• 相关性： 对战略规划、决策制定和场景分析中的AI应用很重要。
• 来源： CRASS：一个用于测试大语言模型反事实推理的新型数据集和基准
• 资源：
  • CRASS数据集

大规模考试阅读理解数据集（RACE）

• 描述： 一组源自中国学生英语考试的阅读理解问题。
• 目的： 测试大语言模型对复杂阅读材料的理解和回答考试级别问题的能力。
• 相关性： 适用于语言学习应用和考试准备教育系统。
• 来源： RACE：大规模考试阅读理解数据集
• 资源：
  • RACE数据集

大基准难题（BBH）

• 描述： BIG-Bench的一个子集，专注于需要多步推理的最具挑战性的任务。
• 目的： 用复杂任务挑战大语言模型，要求高级推理技能。
• 相关性： 对评估AI在复杂推理和问题解决方面能力的上限很重要。
• 来源： 具有挑战性的BIG-Bench任务及思维链是否能解决它们
• 资源：
  • BIG-Bench-Hard GitHub：数据集和提示
  • BBH数据集：HuggingFace

AGIEval

• 描述： 包括GRE、GMAT、SAT、LSAT和公务员考试在内的标准化测试集合。
• 目的： 评估大语言模型在各种学术和专业场景下的推理能力和问题解决技能。
• 相关性： 适用于评估AI在标准化测试和专业资格认证方面的能力。
• 来源： AGIEval：评估基础模型的以人为本的基准
• 资源：
  • AGIEval Github：数据集和提示
  • AGIEval数据集：HuggingFace

BoolQ

• 描述： 收集了超过15,000个来自Google搜索的真实是/否问题，配有维基百科段落。
• 目的： 测试大语言模型从可能不明确的上下文信息中推断正确答案的能力。
• 相关性： 对问答系统和以准确推理为关键的基于知识的AI应用至关重要。
• 来源： BoolQ：探索自然是/否问题令人惊讶的难度
• 资源：
  • BoolQ数据集：HuggingFace

多轮开放式对话

MT-bench

• 描述： 专为评估聊天助手在维持多轮对话方面的熟练程度而设计。
• 目的： 测试模型在多轮对话中保持连贯和上下文相关性的能力。
• 相关性： 对开发复杂的对话代理和聊天机器人至关重要。
• 来源： 使用MT-Bench和Chatbot Arena评判LLM作为评判者
• 资源：
  • MT-bench人工标注数据集

上下文问答（QuAC）

• 描述： 包含14,000个对话，共100,000对问答，模拟学生-教师互动。
• 目的： 用上下文相关、有时无法回答的对话问题挑战大语言模型。
• 相关性： 适用于对话AI、教育软件和上下文感知信息系统。
• 来源： QuAC：上下文问答
• 资源：
  • QuAC主页和数据集

实际应用和抽象摘要

环境临床智能基准（ACI-BENCH）

• 描述： 包含来自各种医学领域的完整医生-患者对话和相关临床笔记。
• 目的： 挑战模型基于对话数据准确生成临床笔记。
• 相关性： 对医疗保健领域的AI应用至关重要，尤其是在自动文档生成和医学分析方面。
• 来源： ACI-BENCH：一个用于基准测试自动就诊笔记生成的新型环境临床智能数据集
• 资源：
  • ACI-BENCH数据集

机器阅读理解数据集（MS-MARCO）

• 描述： 一个大规模的自然语言问答集合，源自真实的网络查询。
• 目的： 测试模型准确理解和回答真实世界查询的能力。
• 相关性： 对搜索引擎、问答系统和其他面向消费者的AI应用至关重要。
• 来源： MS MARCO：一个人工生成的机器阅读理解数据集
• 资源：
  • MS-MARCO数据集

基于查询的多领域会议摘要（QMSum）

• 描述： 一个基准测试，用于根据特定查询总结会议中相关部分的内容。
• 目的： 评估模型从会议内容中提取和总结重要信息的能力。
• 相关性： 适用于商业智能工具、会议分析应用和自动摘要系统。
• 来源： QMSum：基于查询的多领域会议摘要新基准
• 资源：
  • QMSum数据集

物理交互：问答（PIQA）

• 描述： 通过假设场景和解决方案测试对物理世界的知识和理解。
• 目的： 衡量模型处理物理交互场景的能力。
• 相关性： 对机器人、物理模拟和实际问题解决系统的人工智能应用很重要。
• 来源： PIQA：用自然语言推理物理常识
• 资源：
  • PIQA数据集：GitHub

内容审核和叙事控制

ToxiGen

• 描述： 一个关于少数群体的有毒和良性言论数据集，关注隐含的仇恨言论。
• 目的： 测试模型识别和避免生成有毒内容的能力。
• 相关性： 对内容审核系统、社区管理和人工智能伦理研究至关重要。
• 来源： ToxiGen：用于对抗性和隐含仇恨言论检测的大规模机器生成数据集
• 资源：
  • TOXIGEN代码和提示：GitHub
  • TOXIGEN数据集：HuggingFace

有帮助、诚实、无害（HHH）

• 描述： 评估语言模型与道德标准（如有帮助、诚实和无害）的一致性。
• 目的： 评估模型在交互场景中的道德回应。
• 相关性： 对确保人工智能系统促进积极互动并遵守道德标准至关重要。
• 来源： 通用语言助手作为对齐实验室
• 资源：
  • HH-RLHF数据集：GitHub
  • 相关研究：
    • 通过人类反馈强化学习训练有帮助和无害的助手
    • 对语言模型进行红队测试以减少危害：方法、规模行为和经验教训

TruthfulQA

• 描述： 一个基准，用于评估大型语言模型在回答容易产生错误信念和偏见的问题时的真实性。
• 目的： 测试模型提供准确和无偏见信息的能力。
• 相关性： 对于需要提供准确和无偏见信息的人工智能系统很重要，如教育或咨询角色。
• 来源： TruthfulQA：衡量模型如何模仿人类谬误
• 资源：
  • TruthfulQA数据集：GitHub

负责任的人工智能（RAI）

• 描述： 一个框架，用于评估对话优化模型在对话环境中的安全性。
• 目的： 评估人工智能驱动的对话中潜在的有害内容、知识产权泄露和安全漏洞。
• 相关性： 对开发安全和可靠的对话式人工智能应用至关重要，尤其是在敏感领域。
• 来源： 生成式人工智能应用中负责任人工智能危害自动测量框架

编码能力

CodeXGLUE

• 描述： 评估大型语言模型在各种任务中理解和处理代码的能力，如代码补全和翻译。
• 目的： 评估代码智能，包括理解、修复和解释代码。
• 相关性： 对软件开发、代码分析和技术文档应用至关重要。
• 来源： CodeXGLUE：用于代码理解和生成的机器学习基准数据集
• 参考：
  • CodeXGLUE数据集：GitHub

HumanEval

• 描述： 包含编程挑战，用于评估大型语言模型根据指令编写功能代码的能力。
• 目的： 测试根据给定要求生成正确和高效代码的能力。
• 相关性： 对自动代码生成工具、编程助手和编码教育平台很重要。
• 来源： 评估在代码上训练的大型语言模型
• 资源：
  • HumanEval数据集：GitHub

主要基础Python编程（MBPP）

• 描述： 包括1,000个适合入门级程序员的Python编程问题。
• 目的： 评估解决基本编程任务的能力和对Python的理解。
• 相关性： 适用于初级编码教育、自动代码生成和入门级编程测试。
• 来源： 使用大型语言模型进行程序合成
• 资源：
  • MBPP数据集：HuggingFace

大型语言模型辅助评估

LLM评判

• 来源： 以LLM作为评判者评估MT-Bench和Chatbot Arena

• 摘要： 由于大型语言模型(LLM)聊天助手能力广泛,而现有基准测试在衡量人类偏好方面不足,评估它们具有挑战性。为解决这个问题,我们探索使用强大的LLM作为评判者,对这些模型进行更开放性问题的评估。我们研究了LLM作为评判者的使用和局限性,包括位置、冗长和自我强化偏见,以及有限的推理能力,并提出解决方案来缓解其中一些问题。然后,我们通过引入两个基准测试来验证LLM评判者与人类偏好的一致性:MT-bench,一个多轮问题集;以及Chatbot Arena,一个众包对战平台。我们的结果显示,像GPT-4这样强大的LLM评判者能很好地匹配受控和众包的人类偏好,达到80%以上的一致性,与人类之间的一致性水平相同。因此,LLM作为评判者是一种可扩展和可解释的方式来近似人类偏好,而这些偏好通常很昂贵难以获得。此外,我们通过评估LLaMA和Vicuna的几个变体,展示了我们的基准测试与传统基准测试是互补的。MT-bench问题、3K专家投票和30K带有人类偏好的对话已在此https URL公开可用。

• 见解：

  • 使用MT-bench问题和提示,通过LLM作为评判者来评估您的模型。MT-bench是一组具有挑战性的多轮开放式问题,用于评估聊天助手。为了自动化评估过程,我们提示像GPT-4这样的强大LLM充当评判者,评估模型回答的质量。

• 资源：

  • LLM Judge GitHub
  • MT-bench和Arena Elo排行榜
  • Chatbot Arena
  • LLM Judge数据集:
    • LMSYS-Chat-1M: 大规模真实世界LLM对话数据集
    • Chatbot Arena对话数据集
    • MT-bench人工标注数据集

LLM-Eval

• 来源： 使用大型语言模型进行开放域对话的统一多维自动评估

• 摘要： 我们提出了LLM-Eval,一种使用大型语言模型(LLM)对开放域对话进行统一多维自动评估的方法。现有的评估方法通常依赖人工标注、标准答案或多个LLM提示,这可能成本高昂且耗时。为解决这些问题,我们设计了一种基于单一提示的评估方法,利用统一的评估模式在单次模型调用中涵盖对话质量的多个维度。我们在各种基准数据集上广泛评估了LLM-Eval的性能,证明了它相比最先进的评估方法具有效果、效率和适应性。我们的分析还强调了为获得准确的评估结果,选择合适的LLM和解码策略的重要性。LLM-Eval为评估开放域对话系统提供了一种多功能且稳健的解决方案,简化了评估过程,并在不同场景中提供一致的性能。

• 见解：

  • 顶级LLM(如GPT4、Claude)与人类评分的相关性比基于指标的评估方法更好。

JudgeLM

• 来源： JudgeLM: 微调的大型语言模型是可扩展的评判者

• 摘要： 在开放性场景中评估大型语言模型(LLM)具有挑战性,因为现有的基准和指标无法全面衡量它们。为解决这个问题,我们提出微调LLM作为可扩展的评判者(JudgeLM),以高效有效地评估LLM在开放性基准测试中的表现。我们首先提出了一个全面、大规模、高质量的数据集,包含任务种子、LLM生成的答案和GPT-4生成的判断,用于微调高性能评判者,以及一个用于评估评判者的新基准。我们训练了7B、13B到33B参数的不同规模的JudgeLM,并对其能力和行为进行了系统分析。然后,我们分析了将LLM微调为评判者的关键偏差,并将其视为位置偏差、知识偏差和格式偏差。为解决这些问题,JudgeLM引入了一系列技术,包括交换增强、参考支持和参考丢弃,明显提高了评判者的性能。JudgeLM在现有的PandaLM基准和我们提出的新基准上都获得了最先进的评判性能。我们的JudgeLM效率很高,JudgeLM-7B只需3分钟就能用8个A100 GPU评判5K个样本。JudgeLM与教师评判者获得了高度一致,达到超过90%的一致性,甚至超过了人与人之间的一致性。JudgeLM还展示了扩展能力,可以作为单一答案、多模态模型、多个答案和多轮对话的评判者。

• 见解：

  • 相对较小的模型(如7b模型)可以被微调成可靠的其他模型评判者。

Prometheus

• 来源： Prometheus: 在语言模型中诱导细粒度评估能力

• 摘要： 最近,使用强大的专有大型语言模型(LLM)(如GPT-4)作为长文本回答的评估者已成为事实标准。然而,对于具有大规模评估任务和考虑自定义标准(如儿童可读性)的从业者来说,由于封闭源代码性质、不可控的版本控制和高昂的成本,使用专有LLM作为评估者是不可靠的。在这项工作中,我们提出了Prometheus,一个完全开源的LLM,当伴随适当的参考材料(参考答案、评分标准)时,其评估能力与GPT-4相当。我们首先构建了Feedback Collection,这是一个新数据集,包含1K个细粒度评分标准、20K个指令和100K个由GPT-4生成的回答和语言反馈。使用Feedback Collection,我们训练了Prometheus,一个13B参数的评估器LLM,可以根据用户提供的自定义评分标准评估任何给定的长文本。实验结果显示,Prometheus在使用45个自定义评分标准进行评估时,与人类评估者的皮尔逊相关系数为0.897,与GPT-4(0.882)相当,并大大优于ChatGPT(0.392)。此外,在四个基准测试(MT Bench、Vicuna Bench、Feedback Bench、Flask Eval)中使用1222个自定义评分标准测量与GPT-4的相关性,显示了类似的趋势,强化了Prometheus作为评估器LLM的能力。最后,Prometheus在两个人类偏好基准(HHH Alignment & MT Bench Human Judgment)上达到最高准确率,相比明确训练于人类偏好数据集的开源奖励模型,突出了其作为通用奖励模型的潜力。

• 见解：

  • 评分标准和参考答案极大地提高了与人类评分的相关性。

行业资源

• 潜在空间 - 基准测试201：为什么排行榜优于竞技场 >> 以LLM作为评判
• 摘要：
  • OpenLLM排行榜由Clémentine Fourrier维护，是一种标准化且可重复的评估语言模型性能的方法。
  • 该排行榜最初在2023年夏季获得关注，已有超过200万独立访客和30万活跃社区成员。
  • 排行榜最近的更新（v2版本）包括六个基准测试，以解决模型过拟合问题，并为提高性能提供更多空间。
  • 不建议使用LLM作为评判，因为存在模式崩溃和位置偏差等问题。
  • 如果必须使用LLM作为评判，建议使用Prometheus或JudgeLM等开源LLM以确保可重复性。
  • LMSys Arena是另一个面向AI工程师的平台，但其排名不可重复，可能无法准确反映模型能力。