XTuner简介

XTuner是由InternLM团队开发的一款用于大语言模型(LLM)微调的高效工具包。它具有以下主要特点:

• 高效: 支持在单张8GB GPU上微调7B参数的LLM,也可以进行多节点训练70B以上的超大模型。
• 灵活: 支持多种主流LLM,如InternLM、Llama、ChatGLM等,以及LLaVA等视觉语言模型。
• 全功能: 支持预训练、指令微调、Agent微调等多种训练方式。

支持的模型

XTuner支持众多主流大语言模型,包括但不限于:

• InternLM系列
• Llama 2/3系列
• ChatGLM系列
• Qwen系列
• Baichuan系列
• Mixtral 8x7B

此外还支持LLaVA等视觉语言模型。

快速上手

安装

推荐使用pip安装:

pip install -U xtuner

或者从源码安装:

git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e '.[all]'

微调

1. 准备配置文件:

xtuner list-cfg  # 查看所有配置
xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH}  # 复制并修改配置

2. 开始训练:

xtuner train ${CONFIG_NAME_OR_PATH}

3. 转换模型:

extuner convert pth_to_hf ${CONFIG_NAME_OR_PATH} ${PTH} ${SAVE_PATH}

对话

使用以下命令与模型进行对话:

xtuner chat ${NAME_OR_PATH_TO_LLM} --adapter {NAME_OR_PATH_TO_ADAPTER}

学习资源

• 官方文档
• GitHub 仓库
• Hugging Face 模型库

总结

XTuner为LLM微调提供了一个高效灵活的解决方案。无论是初学者还是专业研究人员,都可以利用XTuner轻松实现大语言模型的定制化训练。随着持续更新,XTuner将为LLM领域带来更多可能性。

欢迎访问XTuner GitHub仓库了解更多信息,并加入到LLM微调的探索中来!