#FSDP

fsdp_qlora项目结合FSDP与量化LoRA,实现了在有限显存GPU上高效训练大型语言模型。支持HQQ和bitsandbytes的4位量化、LoRA、DoRA等多种策略,大幅降低内存占用。项目提供详细文档,便于快速上手使用。该方法使在消费级GPU上训练70B参数模型成为可能,为大模型研究提供了实用工具。

seqax是基于JAX的序列建模框架，面向小型到中型LLM预训练研究。它以500行简洁代码实现模型、优化器、多主机FSDP和张量并行分区，具备良好扩展性和性能。seqax注重代码可读性和透明度，使数学计算、内存使用和芯片间通信等关键细节清晰可见，便于理解和修改。