#finetuning

LMFlow

LMFlow为大型机器学习模型微调提供一个可扩展、便捷且高效的开源工具箱，支持多种优化功能，如自定义优化器训练、LISA算法等，已广泛应用于机器学习领域。

MotionGPT

MotionGPT是通过微调大型语言模型（LLMs）来实现通用运动生成的开源项目。项目提供详细的安装指南、预训练模型及数据集应用实例，支持高效的文本到动作转换及生成。用户可以轻松实现姿态可视化和SMPL网格渲染。项目页面详细介绍了多种使用场景，适用于各种运动生成需求。

mamba-370m-hf

项目是一种与transformers库兼容的语言模型，整合了config.json和tokenizer，以提高文本生成的速度和准确性。建议安装transformers的最新主版本，以及causal_conv_1d和mamba-ssm，以充分利用优化的cuda内核。该项目支持经典的generate API和PEFT微调，使用float32格式进行微调可获得最佳性能表现，从而提升文本生成任务的效率和质量。项目形成了一种与transformers库兼容的模型环境，通过优化策略实现高效文本生成。