热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#LLM训练框架
veScale
veScale是一个基于PyTorch的大规模语言模型训练框架,专为简化LLM训练过程而设计。它支持零代码修改、单设备抽象和自动并行规划,实现了张量并行、序列并行和数据并行等多种策略。框架还提供自动检查点重分片和nD分布式时间线功能,大幅提升了训练效率。作为一个持续发展的项目,veScale计划在未来引入更多先进功能,为研究人员和开发者提供全面的LLM训练解决方案。
相关文章
veScale: 引领 PyTorch 原生大语言模型训练的革新
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号