热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#CodeFuse
FasterTransformer4CodeFuse
FasterTransformer4CodeFuse是一个针对蚂蚁集团CodeFuse模型的优化推理引擎。它实现了Int8量化、流式输出和快速模型加载,同时改进了提示词处理并提供Python API。项目还支持多GPU tensor并行推理,并提供了详细的性能数据。相比原始FasterTransformer,该项目更适合需要高效推理CodeFuse模型的开发者和研究人员,能够显著提升性能和使用体验。对于寻求高效CodeFuse模型部署方案的团队,这是一个值得考虑的开源选择。
MFTCoder
MFTCoder是一个开源的多任务微调框架,致力于提升代码大模型性能。该框架支持多种主流开源大模型,采用LoRA和QLoRA等高效微调方法,实现多任务平衡训练。MFTCoder还开源了多个高性能代码大模型和高质量数据集,在HumanEval等基准测试中表现优异。这一框架旨在促进代码大模型领域的协作与创新。
codefuse
CodeFuse 是一个开发代码大语言模型的开源项目,支持全生命周期软件开发。涵盖需求设计、编码、测试、构建、部署、运维和分析等阶段。项目包含多个仓库如 MFTCoder、TestAgent 和 DevOps-Model,并提供 CodeFuse-13B、CodeFuse-CodeLLaMA-34B 等预训练模型。开发者可通过在线演示或本地安装体验这些 AI 工具。
相关文章
MFTCoder: 一个高效准确的代码大语言模型多任务微调框架
2 个月前
CodeFuse: 全生命周期AI原生软件开发的智能助手
2 个月前
FasterTransformer4CodeFuse: 高性能LLM推理引擎
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号