#BigCode

bigcode-evaluation-harness是一个评估代码生成模型的开源框架。它支持多种编程语言和任务,如代码补全、插入和翻译。该框架兼容Hugging Face上的自回归模型,具备多GPU生成能力,并可在Docker容器中运行以保证安全性和可重复性。框架集成了HumanEval、APPS等多个代码生成基准,为研究人员和开发者提供了全面评估代码模型性能的工具。

StarCoder是一个支持超过80种编程语言的开源代码生成工具，通过多查询注意力和填充目标技术在大量令牌上进行训练，取得了优异的性能表现。用户能够在GitHub上生成代码，同时需遵循BigCode OpenRAIL-M许可证协议。