#代码大语言模型

octopack

OctoPack是一个开源的代码大语言模型指令微调与评估工具集。它包含CommitPack数据集、OctoCoder和OctoGeeX模型、HumanEvalPack评估基准等关键组件。该项目提供数据处理、模型训练和评估的完整流程,助力研究人员开发和优化代码大语言模型。OctoPack的所有组件均可自由使用,为代码AI研究提供了宝贵资源。

MFTCoder

MFTCoder是一个开源的多任务微调框架,致力于提升代码大模型性能。该框架支持多种主流开源大模型,采用LoRA和QLoRA等高效微调方法,实现多任务平衡训练。MFTCoder还开源了多个高性能代码大模型和高质量数据集,在HumanEval等基准测试中表现优异。这一框架旨在促进代码大模型领域的协作与创新。