#训练优化
相关项目
xllm
X—LLM是一个便捷的微调大语言模型工具，集成了诸如QLoRA、DeepSpeed、GPTQ、Flash Attention 2和FSDP等最新优化方法，显著提升训练效率。用户可以专注于模型和数据的优化，而不需要繁琐的代码编写。该工具支持多种Transformer模型，并可无缝对接HuggingFace Hub，适用于生产环境和快速原型设计，有助于用户更好地掌控模型训练进度并降低开销。
SimpleTuner
SimpleTuner是一个开源的AI模型训练优化脚本集。它以简单易用为设计理念，支持多GPU训练、方面比例分桶等功能。适用于Flux、PixArt Sigma和Stable Diffusion等多种AI模型的训练。项目提供详细教程和快速入门指南，适合各级用户。作为开源平台，SimpleTuner鼓励学术交流和代码贡献。
amused-256
amused-256是一款基于muse架构的轻量级文本到图像模型，适用于快速大量生成图像的应用。通过并行解码和简化的采样步骤，提高了生成效率。模型使用优化的CLIP文本编码器，共803M参数，较原有的3B参数模型更为小巧。尽管模型体积小，生成图像质量略为降低，但在快速迭代和特定应用场景中仍有出色表现。amused-256允许在简单数据集上进行快速微调，利用最小计算资源来优化训练效果，非常适合资源有限的快速验证任务。