热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#InternEvo
InternEvo - 开源轻量级框架提升大规模模型训练效率
InternEvo
大语言模型
预训练框架
性能优化
开源项目
Github
InternEvo是一个轻量级开源训练框架,支持大规模预训练和单GPU微调。该框架在1024个GPU上达到近90%加速效率,适用于InternLM系列等大语言模型训练。通过集成高性能算子和Hybrid Zero技术,InternEvo优化了计算与通信效率,显著提升了训练性能。
1
1
相关文章
InternEvo:高效长序列大语言模型训练框架
2024年09月05日
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号