xllm
X—LLM是一个便捷的微调大语言模型工具,集成了诸如QLoRA、DeepSpeed、GPTQ、Flash Attention 2和FSDP等最新优化方法,显著提升训练效率。用户可以专注于模型和数据的优化,而不需要繁琐的代码编写。该工具支持多种Transformer模型,并可无缝对接HuggingFace Hub,适用于生产环境和快速原型设计,有助于用户更好地掌控模型训练进度并降低开销。