LLaMA-Pro
LLaMA-Pro项目通过模块扩展实现渐进式改进,显著提升算法性能。开源代码和模型包括LLaMA-Pro-8B和Mistral-Pro-8B-v0.1,后者在多个基准测试中表现优异,尤其在代码与数学能力方面超越主流型号。项目还提供了本地执行方法和训练代码。在ACL 2024大会上,项目论文已被接收,展示出其学术和实用价值。同时,LLaMA-Pro项目提供评估工具和预训练样例,支持开发者高效开发。