#CodeFuse

FasterTransformer4CodeFuse是一个针对蚂蚁集团CodeFuse模型的优化推理引擎。它实现了Int8量化、流式输出和快速模型加载，同时改进了提示词处理并提供Python API。项目还支持多GPU tensor并行推理，并提供了详细的性能数据。相比原始FasterTransformer，该项目更适合需要高效推理CodeFuse模型的开发者和研究人员，能够显著提升性能和使用体验。对于寻求高效CodeFuse模型部署方案的团队，这是一个值得考虑的开源选择。

MFTCoder是一个开源的多任务微调框架,致力于提升代码大模型性能。该框架支持多种主流开源大模型,采用LoRA和QLoRA等高效微调方法,实现多任务平衡训练。MFTCoder还开源了多个高性能代码大模型和高质量数据集,在HumanEval等基准测试中表现优异。这一框架旨在促进代码大模型领域的协作与创新。

CodeFuse 是一个开发代码大语言模型的开源项目，支持全生命周期软件开发。涵盖需求设计、编码、测试、构建、部署、运维和分析等阶段。项目包含多个仓库如 MFTCoder、TestAgent 和 DevOps-Model，并提供 CodeFuse-13B、CodeFuse-CodeLLaMA-34B 等预训练模型。开发者可通过在线演示或本地安装体验这些 AI 工具。