ZeroEval：评估语言模型的统一框架

ZeroEval是一个简单的统一框架，用于评估各种任务中的（大型）语言模型。 这个代码库旨在评估经过指令微调的大型语言模型在各种推理任务（如MMLU和GSM）上的零样本表现。我们通过控制提示、采样、输出解析等因素，使用统一的设置来评估大型语言模型。在ZeroEval中，我们执行零样本提示，并指示语言模型以json格式输出推理过程和答案。我们正在积极添加新的任务。欢迎贡献！

• 排行榜：https://hf.co/spaces/allenai/ZeroEval
• X帖子

安装

conda create -n zeroeval python=3.10
conda activate zeroeval
# pip install vllm -U # pip install -e vllm 
pip install vllm==0.5.1
pip install -r requirements.txt
# export HF_HOME=/path/to/your/custom/cache_dir/ 

任务

• MMLU-redux (-d mmlu-redux)
• GSM8K (-d gsm)
• ZebraLogic (-d zebra-grid)
• CRUX (-d crux)
• 更多任务将很快添加（例如，ARC、MMLU-Pro等）

使用方法

zero_eval_local.sh和zero_eval_api.sh是运行评估的两个主要脚本。

示例

• bash zero_eval_local.sh -d mmlu-redux -m meta-llama/Meta-Llama-3-8B-Instruct -p Meta-Llama-3-8B-Instruct -s 4（在mmlu-redux上使用贪婪解码运行Llama-3-8B-Instruct）

• bash zero_eval_api.sh -d gsm -f openai -m openai/gpt-4o-mini-2024-07-18 -p gpt-4o-mini-2024-07-18 -s 8（在gsm上使用贪婪解码运行gpt-4o-mini）

• bash zero_eval_api.sh -d zebra-grid -f openai -m deepseek-chat -p deepseek-chat -s 8（通过openai风格的API运行deepseek-chat，在zebra-grid上使用贪婪解码）

更多示例可以在scripts文件夹中找到，例如scripts/_MMLU_redux.md和scripts/_GSM.md文件以及scripts/local/crux.sh。

参数

结果

• MMLU-Redux: python src/evaluation/mcqa_eval.py mmlu-redux --> 完整结果
• GSM: python src/evaluation/gsm_eval.py --> 完整结果
• ZebraLogic: python src/evaluation/zebra_grid_eval.py --> 完整结果 和排行榜
• CRUX: python src/evaluation/crux.py --> 完整结果
• 全部: python src/evaluation/summarize.py --> 完整结果 ⬇️ | 模型 | GSM8K | MMLU
  -Redux | ZebraLogic
  -Easy | CRUX | 平均分 | |:----------------------------|--------:|------------------:|-----------------------:|-------:|----------:| | claude-3-5-sonnet-20240620 | 95.60 | 86.00 | 87.50 | 78.75 | 86.96 | | gpt-4o-2024-05-13 | 95.38 | 88.01 | 77.86 | 83.62 | 86.22 | | Llama-3.1-405B-Inst-fp8 | 95.91 | 85.64 | 87.14 | 72.12 | 85.20 | | Mistral-Large-2 | 95.53 | 82.97 | 80.36 | 72.88 | 82.94 | | gemini-1.5-pro-exp-0801 | 95.00 | 85.53 | 72.50 | 73.00 | 81.51 | | claude-3-opus-20240229 | 95.60 | 82.54 | 78.21 | 68.62 | 81.24 | | Meta-Llama-3.1-70B-Instruct | 94.16 | 82.97 | 73.57 | 62.62 | 78.33 | | deepseek-v2-chat-0628 | 93.93 | 80.81 | 68.57 | 68.50 | 77.95 | | gpt-4o-mini-2024-07-18 | 94.24 | 81.50 | 62.50 | 73.50 | 77.94 | | deepseek-v2-coder-0724 | 91.51 | 80.24 | 61.79 | 67.75 | 75.32 | | Qwen2-72B-Instruct | 92.65 | 81.61 | 63.93 | 57.38 | 73.89 | | claude-3-sonnet-20240229 | 91.51 | 74.87 | 58.93 | 64.75 | 72.52 | | gemini-1.5-flash | 91.36 | 77.36 | 59.29 | 61.88 | 72.47 | | yi-large-preview | 82.64 | 82.15 | 58.93 | 58.63 | 70.59 | | Meta-Llama-3-70B-Instruct | 93.03 | 78.01 | 52.86 | 57.12 | 70.26 | | yi-large | 80.06 | 81.17 | 58.21 | 58.38 | 69.46 | | gemma-2-27b-it | 90.22 | 75.67 | 50.71 | 55.88 | 68.12 | | claude-3-haiku-20240307 | 88.78 | 72.32 | 47.86 | 53.62 | 65.64 | | reka-core-20240501 | 87.41 | 76.42 | 43.21 | 45.00 | 63.01 | | gemma-2-9b-it | 87.41 | 72.82 | 41.79 | 44.88 | 61.72 | | Yi-1.5-34B-Chat | 84.08 | 72.79 | 37.50 | 42.88 | 59.31 | | gpt-3.5-turbo-0125 | 80.36 | 68.36 | 33.57 | 53.25 | 58.88 | | Meta-Llama-3.1-8B-Instruct | 84.00 | 67.24 | 43.57 | 38.75 | 58.39 | | Phi-3-mini-4k-instruct | 75.51 | 70.34 | 38.21 | 43.50 | 56.89 | | Meta-Llama-3-8B-Instruct | 78.47 | 61.66 | 40.71 | 36.62 | 54.37 | | Qwen2-7B-Instruct | 80.06 | 66.92 | 29.29 | 36.75 | 53.26 | | Mixtral-8x7B-Instruct-v0.1 | 70.13 | 63.17 | 28.93 | 43.50 | 51.43 | | reka-flash-20240226 | 74.68 | 64.72 | 30.71 | 33.25 | 50.84 | | Yi-1.5-9B-Chat | 76.42 | 65.05 | 8.21 | 43.75 | 48.36 | | gemma-2-2b-it | 51.63 | 51.94 | 14.29 | 20.75 | 34.65 |

更新日志

• 2024年8月2日：添加了Gemini 1.5 Pro Exp 0801和CRUX结果
• 2024年7月31日：添加了Meta-Llama-3.1-70B-Instruct和gemma-2-2b-it
• 2024年7月29日：添加了Llama-3.1-8B、Mistral-Large-2和deepseek-coder-v2-0724

引用

如果您发现ZeroEval对您有用，请在您的出版物中按以下方式引用：

@software{Lin_ZeroEval_A_Unified_2024,
    author = {Lin, Bill Yuchen},
    month = jul,
    title = {{ZeroEval: A Unified Framework for Evaluating Language Models}},
    url = {https://github.com/yuchenlin/ZeroEval},
    year = {2024}
}

星标历史