AutoCoder - 性能超越GPT-4 Turbo的代码生成大模型
AutoCoder是一个专门为代码生成任务设计的新型大语言模型,其在HumanEval基准测试集上的准确率超过了GPT-4 Turbo(2024年4月版本)。本文将为大家整理AutoCoder项目的相关学习资源,帮助感兴趣的读者快速了解和上手这个强大的模型。
官方资源
- GitHub仓库 - AutoCoder的官方代码库,包含了模型使用说明、评估代码等
- 项目论文 - 详细介绍AutoCoder模型的技术细节和实验结果
- HuggingFace模型页面 - 33B参数版本的模型文件下载
- AutoCoder-S (6.7B)模型 - 参数量更小的版本
- AutoCoder_QW_7B模型 - 最新发布的7B参数版本
模型特点
AutoCoder相比之前的开源模型,提供了一个新特性:它可以自动安装所需的包,并尝试运行代码直到确认没有问题,这个过程发生在用户希望执行代码时。这大大扩展了代码解释器的应用范围。
快速开始
- 创建并激活conda环境:
conda create -n AutoCoder python=3.11
conda activate AutoCoder
pip install -r requirements.txt
- 运行Web演示(包含代码解释器):
pip install gradio==3.48.0
cd /Web_demo
python chatbot.py
性能评估
AutoCoder在多个基准测试上都取得了优异的成绩:
- HumanEval: 90.9% (基础集), 78.0% (基础集+额外集)
- MBPP: 82.5% (基础集), 70.6% (基础集+额外集)
如需复现这些结果,可参考GitHub仓库中的评估代码。
注意事项
- 使用代码解释器时,建议设置
do_sample = True(默认设置) - 部署时最好使用Linux系统
社区资源
- OpenCodeInterpreter - 另一个开源的代码解释器项目,可以与AutoCoder对比学习
- EvalPlus - 用于评估代码生成模型的框架
- DS-1000 - 数据科学相关的代码生成基准测试集
联系方式
如有任何疑问,可以在GitHub仓库提issue,或直接联系作者邮箱: leib2765@gmail.com
AutoCoder作为一个性能超越GPT-4 Turbo的开源代码生成模型,为NLP和软件工程领域带来了新的可能。无论你是研究人员还是开发者,都可以尝试使用AutoCoder来提升代码生成的效率和质量。希望本文整理的资源能帮助你更好地了解和使用这个强大的工具!
