热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#seqax
JAX和序列建模的完美结合
2 个月前
seqax是一个专注于小到中等规模LLM预训练研究的代码库。它结合了JAX的强大功能和序列建模技术,为研究人员提供了一个高效、灵活的工具。本文深入探讨了seqax的特点、使用方法以及性能表现。
JAX
seqax
LLM
FSDP
性能优化
Github
开源项目
2 个月前
相关项目
seqax
seqax是基于JAX的序列建模框架,面向小型到中型LLM预训练研究。它以500行简洁代码实现模型、优化器、多主机FSDP和张量并行分区,具备良好扩展性和性能。seqax注重代码可读性和透明度,使数学计算、内存使用和芯片间通信等关键细节清晰可见,便于理解和修改。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号