XTuner简介
XTuner是由InternLM团队开发的一款用于大语言模型(LLM)微调的高效工具包。它具有以下主要特点:
- 高效: 支持在单张8GB GPU上微调7B参数的LLM,也可以进行多节点训练70B以上的超大模型。
- 灵活: 支持多种主流LLM,如InternLM、Llama、ChatGLM等,以及LLaVA等视觉语言模型。
- 全功能: 支持预训练、指令微调、Agent微调等多种训练方式。
支持的模型
XTuner支持众多主流大语言模型,包括但不限于:
此外还支持LLaVA等视觉语言模型。
快速上手
安装
推荐使用pip安装:
pip install -U xtuner
或者从源码安装:
git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e '.[all]'
微调
- 准备配置文件:
xtuner list-cfg # 查看所有配置
xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH} # 复制并修改配置
- 开始训练:
xtuner train ${CONFIG_NAME_OR_PATH}
- 转换模型:
extuner convert pth_to_hf ${CONFIG_NAME_OR_PATH} ${PTH} ${SAVE_PATH}
对话
使用以下命令与模型进行对话:
xtuner chat ${NAME_OR_PATH_TO_LLM} --adapter {NAME_OR_PATH_TO_ADAPTER}
学习资源
总结
XTuner为LLM微调提供了一个高效灵活的解决方案。无论是初学者还是专业研究人员,都可以利用XTuner轻松实现大语言模型的定制化训练。随着持续更新,XTuner将为LLM领域带来更多可能性。
欢迎访问XTuner GitHub仓库了解更多信息,并加入到LLM微调的探索中来!
