访问官网
Github
论文项目介绍：LLamaTuner
LLamaTuner 是一个高效、灵活且功能齐全的工具包，旨在对大型语言模型（LLM）进行微调。这些模型包括 Llama3、Phi3、Qwen、Mistral 等。
高效性
- 广泛支持的GPU：LLamaTuner 支持在几乎所有 GPU 上进行 LLM 和 VLM 的预训练和微调。用户可以在单个 8GB 的 GPU 上微调整 7B 的 LLM，亦可在多节点上微调整超过 70B 的模型。
- 自动分配高性能运算操作：工具包可以自动分配 FlashAttention 和 Triton 内核等高性能操作来提高训练速度。
- 兼容性：兼容 DeepSpeed，能够轻松利用多种 ZeRO 优化技术。
灵活性
- 支持多种语言模型：包括 Llama3、Mixtral、Llama 2、ChatGLM、Qwen、Baichuan 等。
- 支持视觉语言模型（VLM）：如 LLaVA。
- 完善的数据管道：支持任何格式的数据集，包括开源和自定义格式。
- 多种训练算法：支持 QLoRA、LoRA、全参数微调等多种训练算法，用户可以根据自己的需求选择最适合的解决方案。
功能齐全
- 支持多种微调任务：包括持续预训练、指令微调和代理微调。
- 支持大模型对话：用户可使用预定义的模板与大模型进行对话。
支持的模型
LLamaTuner 支持多种大型语言模型，如 Baichuan、BLOOM、ChatGLM3、Command-R、DeepSeek (MoE)、Falcon、Gemma/CodeGemma、InternLM2、LLaMA、Mistral 等。模型的大小和模块的选择可以根据具体需求进行调整。
支持的训练方式
支持的训练方式包括全参数微调、冻结参数微调、LoRA 和 QLoRA。这些方法能够进行预训练、监督式微调、奖励建模、PPO、DPO 和 KTO 等多种训练任务。
支持的数据集
LLamaTuner 支持多种格式的数据集，大多数可以在 Hugging Face 数据集库中获取。这些数据集包括监督式微调数据集和偏好数据集，如 Stanford Alpaca 系列、BELLE 中文数据集、OpenAssistant、UltraChat 等。
数据预处理
在数据文件夹中提供多个数据预处理工具，帮助用户进行数据格式化和分类，如 data_utils.py、sft_dataset.py、conv_dataset.py 等。
模型目录
LLamaTuner 提供了一些在 Hugging Face 模型库中发布的模型，这些模型经过 QLoRA 训练，可用于推理和微调。如基于 Llama-7B 的全参数微调和经过 QLoRA 的 SFT 模型等。
硬件要求
对于不同的方法和模型大小，硬件要求各异，通常需要具备一定的显存容量，例如微调 7B 模型可能只需 12GB 显存，而调整 110B 模型则需要更高的显存资源。
入门指南
用户首先需要克隆这份代码仓库，然后根据需求选择适当的微调脚本。例如，可使用 train_qlora.py 基于 Alpaca 数据集进行基础模型的微调。
git clone https://github.com/jianzhnie/LLamaTuner.git
cd LLamaTuner
QLoRA int4 微调
train_qlora.py 代码是进行不同数据集上微调和推理的起点。常规微调命令如下：
python train_qlora.py --model_name_or_path <path_or_name>
对于大于 13B 的模型，建议调整学习率：
python train_qlora.py --learning_rate 0.0001 --model_name_or_path <path_or_name>
已知问题和限制
列举了一些已知的问题和错误，例如 4 位推理速度较慢和 LoRA 训练运行时可能发生错误。如果出现未列出的问题，请创建新问题并描述问题详情。
开源协议
LLamaTuner 在 Apache 2.0 许可证下发布。
致谢
感谢 Huggingface 团队在将 QLoRA 与 PEFT 和 transformers 库集成方面的支持，也感谢许多开源贡献者的工作。
引用
如果您在使用数据或代码时方便引用本项目，请使用以下格式：
@misc{Chinese-Guanaco,
author = {jianzhnie},
title = {LLamaTuner: Easy and Efficient Fine-tuning LLMs},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/jianzhnie/LLamaTuner}},
}
