#XTuner

xtuner

XTuner是一款高效灵活的大模型微调工具包，支持LLM和VLM在多种GPU上的预训练和微调。它能够在单个8GB GPU上微调7B模型，并支持超过70B模型的多节点微调。XTuner兼容DeepSpeed，支持多种优化技术，并涵盖多种微调方法如QLoRA和LoRA。该工具包提供连续预训练、指令微调和代理微调等功能，输出模型可以无缝集成到部署和评估工具中，适应多种应用场景。

llava-llama-3-8b-v1_1-gguf

这是一个基于Llama-3和CLIP视觉模型构建的多模态系统，采用GGUF格式优化部署效率。模型在MMBench、CCBench等多个基准测试中展现了优秀的图像理解和文本生成能力。通过ollama或llama.cpp框架，可实现快速本地部署和图文交互功能。