#低秩训练

GaLore

GaLore是一种内存高效的低秩训练策略，实现全参数学习的同时比常见低秩适应方法更节省内存。作为梯度投影方法，GaLore可通过两行代码轻松集成到现有优化器中。这一策略不仅优化内存使用，还保持训练准确性，为大规模语言模型训练提供新解决方案。项目目前处于预发布阶段，计划未来支持多GPU训练和内存高效的低秩梯度累积等功能。