代码生成语言模型评估框架

任务 | 使用 | 贡献 | 文档 | BigCode

特点

这是一个用于评估代码生成模型的框架。本项目的灵感来自EleutherAI/lm-evaluation-harness，用于评估通用语言模型。我们欢迎贡献，以修复问题、增强功能和添加新的基准测试。您可以在docs/guide.md和CONTRIBUTING.md中找到贡献指南，更多文档请参见docs/README.md。

以下是该框架的特点和任务：

• 特点：

  • 可以使用Hugging Face hub上的任何自回归模型，但我们建议使用专门针对代码训练的代码生成模型，如SantaCoder、InCoder和CodeGen。
  • 我们提供使用accelerate进行多GPU文本生成，并提供Docker容器用于评估，以确保安全性和可重复性。

• 任务：

  • 7个代码生成Python任务（带单元测试）：HumanEval、HumanEval+、InstructHumanEval、APPS、MBPP、MBPP+和DS-1000，支持完成（从左到右）和插入（FIM）模式。
  • HumanEvalPack通过人工翻译将HumanEval扩展到6种语言的3种场景，并与OctoPack一起发布。
  • MultiPL-E评估套件（HumanEval翻译成18种编程语言）。
  • 应用于HumanEval基准的Recode。它评估代码生成模型的鲁棒性。
  • Pal程序辅助语言模型评估小学数学问题：GSM8K和GSM-HARD。这些问题通过生成文本和代码的推理链来解决。
  • 来自CodeXGLUE的代码到文本任务（零样本和微调），支持6种语言：Python、Go、Ruby、Java、JavaScript和PHP。来自CodeXGLUE的文档翻译任务。
  • CoNaLa用于Python代码生成（2-shot设置和BLEU分数评估）。
  • Concode用于Java代码生成（2-shot设置和BLEU分数评估）。
  • 3个多语言下游分类任务：Java复杂度预测、Java代码等价性预测、C代码缺陷预测。
  • SantaCoder-FIM用于使用精确匹配评估Python代码的FIM。更多细节在SantaCoder中描述。包括两个任务：
    • StarCoderFIM：使用默认的FIM标记"<fim_prefix>", "<fim_middle>", "<fim_suffix>"
    • SantaCoderFIM：使用SantaCoder FIM标记"<fim-prefix>", "<fim-middle>", "<fim-suffix>"
  • Mercury用于评估Python代码生成的计算效率。

每个任务的更多细节可以在docs/README.md的文档中找到。

设置

git clone https://github.com/bigcode-project/bigcode-evaluation-harness.git
cd bigcode-evaluation-harness

根据您的设备类型安装torch，并使用以下命令安装其他包：

pip install -e .

要运行DS-1000基准测试，必须解决额外的约束条件。

# python版本必须是3.7.10
pip install -e ".[ds1000]" # 安装所有额外依赖，除了PyTorch
# 需要torch==1.12.1。下载具有相关GPU支持等的版本，例如，
pip install torch==1.12.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

# 要抑制任何tensorflow优化警告，
# 在调用"accelerate launch"之前加上"TF_CPP_MIN_LOG_LEVEL=3"

# 在某些系统上，tensorflow会尝试在导入时将所有GPU内存分配给其进程，
# 这将引发CUDA内存不足错误
# 设置"export TF_FORCE_GPU_ALLOW_GROWTH=true"可以解决这个问题

另外，确保您已安装git-lfs并登录到Hub

huggingface-cli login

当存在多个GPU时，我们使用accelerate并行生成代码/文本（多GPU模式）。您可以使用以下命令进行配置：

accelerate config

这个评估框架也可以在仅评估模式下使用，您可以使用多CPU设置。对于大型模型，我们建议使用--precision标志指定模型的精度，而不是使用accelerate config，以便在内存中只保留模型的一个副本。如果您安装了bitsandbytes并具有所需的transformers和accelerate版本，也可以使用--load_in_8bit标志以8位加载模型，或使用--load_in_4bit以4位加载。

MultiPL-E的评估部分（解决方案执行）对某些编程语言需要额外的依赖项，我们提供了一个包含所有依赖项的Dockerfile，有关更多详情，请参阅Docker部分。

使用方法

您可以使用这个评估框架来生成代码基准测试的文本解决方案，评估（并执行）解决方案，或同时进行这两项操作。虽然生成时最好使用GPU，但评估只需要CPU。因此，将这两个步骤分开可能会更有益。默认情况下，会同时进行生成和评估。

有关如何评估任务的更多详细信息，请参阅docs/README.md中的文档。

生成和评估

以下是生成和评估任务的示例。

accelerate launch  main.py \
  --model <MODEL_NAME> \
  --tasks <TASK_NAME> \
  --limit <NUMBER_PROBLEMS> \
  --max_length_generation <MAX_LENGTH> \
  --temperature <TEMPERATURE> \
  --do_sample True \
  --n_samples 100 \
  --batch_size 10 \
  --precision <PRECISION> \
  --allow_code_execution \
  --save_generations

• limit表示要解决的问题数量，如果不提供，则选择基准测试中的所有问题。
• allow_code_execution用于执行生成的代码：默认情况下是关闭的，在调用它以启用执行之前，请阅读显示的警告。
• 一些在HF hub上有自定义代码的模型，如SantaCoder，需要调用--trust_remote_code，对于私有模型，请添加--use_auth_token。
• save_generations将后处理的生成内容保存在save_generations_path（默认为generations.json）的json文件中。您也可以通过调用--save_references来保存参考内容。
• max_length_generation是包括输入标记长度在内的生成的最大标记长度。默认值为512，但对于某些任务，如GSM8K和GSM-Hard，带有8个示例（如PAL中使用的）的完整提示占用了~1500个标记，因此该值应大于这个数字，建议将max_length_generation的值设为2048。

一些任务不需要代码执行，如codexglue_code_to_text-<LANGUAGE>/codexglue_code_to_text-python-left/conala/concode，它们使用BLEU评估。此外，我们为这些任务中的每个问题生成一个候选解决方案，所以使用n_samples=1和batch_size=1。（注意，batch_size应始终小于或等于n_samples）。

• 对于APPS任务，您可以使用n_samples=1进行严格和平均准确度（来自原始APPS论文）的评估，使用n_samples>1进行pass@k评估。

仅生成

如果您想生成解决方案而不执行和评估代码，请在上述指令之外调用--generation_only。这将把解决方案保存在工作目录中save_generation_path指定的json文件中。

如果您出于安全或效率的考虑不想在用于生成的机器上执行代码，这可能会很有用。例如，您可以在多个GPU上进行生成，但切换到多个工作者的CPU机器或docker容器进行执行。

仅评估

如果你已经从这个评估框架中获得了一个包含生成内容的json文件，并想要评估它们，可以通过load_generations_path参数指定生成内容的路径。你可能需要重新配置accelerate以使用多个CPU。

以下是一个示例，注意根据你要评估的任务指定适当的参数，并注意这里的model值仅用于记录实验。另外，添加--n_samples来指定每个问题要评估的样本数量（通常与生成时使用的值相同）。

accelerate launch  main.py   --tasks mbpp  --allow_code_execution  --load_generations_path generations.json  --model incoder-temperature-08

Docker容器

出于安全考虑，我们提供了Dockerfile以在docker容器内进行执行。为此，首先在你的机器上进行生成并将结果保存在generations.json中，例如通过添加--generation_only标志到命令中。然后使用我们提供的Docker镜像：

$ docker pull ghcr.io/bigcode-project/evaluation-harness
$ docker tag ghcr.io/bigcode-project/evaluation-harness evaluation-harness

如果你想评估MultiPL-E，我们有一个不同的Dockerfile，因为它需要更多依赖项，使用：

$ docker pull ghcr.io/bigcode-project/evaluation-harness-multiple
$ docker tag ghcr.io/bigcode-project/evaluation-harness-multiple evaluation-harness-multiple

构建Docker镜像

如果你修改了评估框架，你可能想要重新构建docker镜像。

以下是如何为评估框架构建docker镜像：

$ sudo make DOCKERFILE=Dockerfile  all

这将创建一个名为evaluation-harness的镜像，并对其进行测试。要跳过测试，从命令中删除all。

对于MultiPL-E：

$ sudo make DOCKERFILE=Dockerfile-multiple all

这将创建一个名为evaluation-harness-multiple的镜像。

在容器内进行评估

假设你使用bigcode/santacoder模型生成了文本并将其保存在generations_py.json中，命令如下：

accelerate launch  main.py \
    --model bigcode/santacoder  \
    --tasks multiple-py  \
    --max_length_generation 650 \
    --temperature 0.8   \
    --do_sample True  \
    --n_samples 200  \
    --batch_size 200  \
    --trust_remote_code \
    --generation_only \
    --save_generations \
    --save_generations_path generations_py.json

要运行容器（这里使用evaluation-harness-multiple镜像）来评估generations_py.json或其他文件，使用-v挂载它，指定n_samples并通过--allow_code_execution允许代码执行（如果在生成过程中使用了--limit，也要添加问题数量）：

$ sudo docker run -v $(pwd)/generations_py.json:/app/generations_py.json:ro -it evaluation-harness-multiple python3 main.py \
    --model bigcode/santacoder \
    --tasks multiple-py \
    --load_generations_path /app/generations_py.json \
    --allow_code_execution  \
    --temperature 0.8 \
    --n_samples 200

实现新任务

要在此评估框架中实现新任务，请参阅docs/guide中的指南。贡献指南请参阅CONTRIBUTING.md。

文档

我们在docs/README.md中提供了现有基准测试的文档以及如何运行评估的说明。

备注

• 目前，我们使用accelerate在多个GPU上进行数据并行评估，这假设你可以将模型放入一个GPU中。

致谢

我们感谢EleutherAI在lm-evaluation harness上的工作，本仓库受其启发。

引用

@misc{bigcode-evaluation-harness,
  author       = {Ben Allal, Loubna and
                  Muennighoff, Niklas and
                  Kumar Umapathi, Logesh and
                  Lipkin, Ben and
                  von Werra, Leandro},
  title = {A framework for the evaluation of code generation models},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/bigcode-project/bigcode-evaluation-harness}},
  year = 2022,
}