#SFT微调

ChatLM-mini-Chinese是一个小参数中文生成式语言模型项目。模型参数为0.2B，最低4GB显存即可实现预训练，512MB显存可进行推理。项目公开预训练和优化数据集，包括SFT微调和DPO偏好优化，支持多种下游任务。基于Huggingface NLP框架，自实现trainer，支持单机单卡及多卡训练，并可断点续训。此项目优化了内存和显存的使用，为硬件资源不足的用户提供了一种高效的中文对话解决方案。

项目包含从数据清洗、tokenizer训练、CLM预训练、SFT微调到RLHF优化的详细步骤，代码和模型已开源，可引用。支持Flash Attention加速，适用于大数据集处理。更多信息及模型权重在huggingface仓库。