GPT4Tools: 通过自我指导教导大语言模型使用工具

Lin Song、Yanwei Li、Rui Yang、Sijie Zhao、Yixiao Ge、Xiu Li、Ying Shan

GPT4Tools是一个可以控制多个视觉基础模型的集中系统。它基于Vicuna (LLaMA)和71K自建指令数据。通过分析语言内容，GPT4Tools能够自动决策、控制和利用不同的视觉基础模型，允许用户在对话中与图像交互。通过这种方法，GPT4Tools为在对话中满足各种图像相关需求提供了无缝高效的解决方案。与之前的工作不同，我们支持用户通过简单的自我指导和LoRA微调来教导他们自己的大语言模型使用工具。

更新

• 🔥 我们更新了适用于vicuna-v1.5的新代码和模型！
• 🔥 我们的论文被NIPS 2023接受！
• 🔥 我们现在发布了论文和新的演示，包括LLAVA、OPT、LlaMA和Vicuna。
• 🔥 我们发布了使用Vicuna-13B预训练的GPT4Tools模型，并发布了自我指导的数据集。查看博客和演示。

演示

我们在本节提供了一些使用GPT4Tools的精选示例。更多示例可以在我们的项目页面找到。欢迎尝试我们的在线演示！

更多演示

数据集

• gpt4tools_71k.json包含我们用于微调GPT4Tools模型的71K指令跟随数据。

• gpt4tools_val_seen.json是用于验证的手动清理的指令数据，包括与gpt4tools_71k.json中工具相关的指令。

• gpt4tools_test_unseen.json是用于测试的清理过的指令数据，包括一些在gpt4tools_71k.json中不存在的工具相关指令。

data.md展示了如何生成、格式化和清理数据。

模型

GTP4Tools主要包含三个部分：用于指令的LLM、用于适配的LoRA和用于提供功能的Visual Agent。这是一个灵活且可扩展的系统，可以轻松扩展以支持更多工具和功能。例如，用户可以用自己的模型替换现有的LLM或工具，或向系统添加新工具。唯一需要做的是用提供的指令微调LoRA，这会教导LLM使用提供的工具。

GPT4Tools 基于 Vicuna，我们发布了 GPT4Tools 的 LoRA 权重以遵守 LLaMA 模型许可。您可以将我们的 LoRA 权重与 Vicuna 权重合并以获得 GPT4Tools 权重。

开始使用

环境

git clone https://github.com/AILab-CVC/GPT4Tools
cd GPT4Tools
pip install -r requirements.txt

权重

1. 下载 vicuna-7b-v1.5 和 vicuna-13b-v1.5。

# 下载到您的缓存目录
python3 scripts/download.py \
	--model-names "lmsys/vicuna-13b-v1.5" "lmsys/vicuna-7b-v1.5" \
	--cache-dir $your_cache_dir

2. 从以下链接下载 gpt4tools LoRA 权重：

旧版权重可以在这里找到。

工具

GPT4Tools 支持 22 种工具。详情请查看 tools.md。 首次使用工具时，需要将工具的权重下载到缓存中。如果您不想将它们存储在默认缓存中，请修改 shell 环境变量：

export TRANSFORMERS_CACHE=${your_transformers_cache}
export HUGGINGFACE_HUB_CACHE=${your_diffusers_cache}

此外，您还可以将权重下载到自定义缓存中。

# 下载 huggingface 模型
python3 scripts/download.py \
	--model-names "Salesforce/blip-image-captioning-base" "Salesforce/blip-vqa-base" "timbrooks/instruct-pix2pix" "runwayml/stable-diffusion-v1-5" "runwayml/stable-diffusion-inpainting" "lllyasviel/ControlNet" "fusing/stable-diffusion-v1-5-controlnet-canny" "fusing/stable-diffusion-v1-5-controlnet-mlsd" "fusing/stable-diffusion-v1-5-controlnet-hed" "fusing/stable-diffusion-v1-5-controlnet-scribble" "fusing/stable-diffusion-v1-5-controlnet-openpose" "fusing/stable-diffusion-v1-5-controlnet-seg" "fusing/stable-diffusion-v1-5-controlnet-depth" "fusing/stable-diffusion-v1-5-controlnet-normal" "sam" "groundingdino" \
	--cache-dir $your_cache_dir

使用 Web GUI 提供服务

按照 scripts/demo.sh 或以下代码在您自己的设备上创建 gradio 界面：

# 1 个 GPU 的建议
python gpt4tools_demo.py \
	--base_model $path_to_vicuna_with_tokenizer \
	--lora_model $path_to_lora_weights \
	--llm_device "cpu" \ 
	--load "Text2Box_cuda:0,Segmenting_cuda:0,Inpainting_cuda:0,ImageCaptioning_cuda:0" \ 
	--cache-dir $your_cache_dir \
	--server-port 29509 \
	--share

# 4 个 GPU 的建议
python gpt4tools_demo.py \
	--base_model $path_to_vicuna_with_tokenizer
	--lora_model $path_to_lora_weights \
	--llm_device "cuda:3" \
	--load "Text2Box_cuda:0,Segmenting_cuda:0,Inpainting_cuda:0,ImageCaptioning_cuda:0,Text2Image_cuda:1,VisualQuestionAnswering_cuda:1,InstructPix2Pix_cuda:2,SegText2Image_cuda:2,Image2Pose_cpu,PoseText2Image_cuda:2" \
	--cache-dir $your_cache_dir \
	--server-port 29509 \
	--share

您可以通过在 gpt4tools_demo.py 的 --load 参数后指定 {tools_name}_{devices} 来自定义使用的工具。tools_name 在 tools.md 中有说明。

微调

将 gpt4tools_71k.json 下载到 ./datasets 后，您可以按照 scripts/finetune_lora.sh 或运行以下代码来微调您的模型：

deepspeed train.py \
	--base_model $path_to_vicuna_with_tokenizer \
	--data_path $path_to_gpt4tools_71k.json \
	--deepspeed "scripts/zero2.json" \
	--output_dir output/gpt4tools \
	--num_epochs 6 \
	--per_device_train_batch_size 1 \
	--per_device_eval_batch_size 4 \
	--gradient_accumulation_steps 16 \
	--model_max_length 2048 \
	--lora_target_modules '[q_proj,k_proj,v_proj,o_proj]' \
	--lora_r 16 \
	--learning_rate 3e-4 \
	--lazy_preprocess True \
	--cache_dir $your_cache_dir \
	--report_to 'tensorboard' \
	--gradient_checkpointing True

如果您想评估模型使用工具的成功率，请点击这里。

致谢

• VisualChatGPT：它连接了 ChatGPT 和一系列视觉基础模型，使聊天过程中能够发送和接收图像。
• Vicuna：Vicuna 的语言能力非常出色和令人惊叹。而且它是开源的！
• Alpaca-LoRA：在消费级硬件上对 LLaMA 进行指令微调。 如果您在研究或应用中使用我们的GPT4Tools，请引用：

@misc{gpt4tools,
  title = {GPT4Tools: 通过自我指导教导大语言模型使用工具},
  author={杨睿, 宋林, 李彦伟, 赵思捷, 葛益骁, 李秀, 单瑛},
  journal={arXiv预印本 arXiv:2305.18752},
  year={2023}
}