Vicuna 安装指南
Vicuna 的详细安装和配置说明
最新更新
- 更新到 Vicuna 1.5 指南
10.10.23
- 修复了指南
- 增加了 7B 模型的说明
- 修复了
wget
命令 - 修改了我的 llama.cpp 分支中的
chat-with-vicuna-v1.txt
- 更新到 Vicuna 版本 1.1
系统要求
- Vicuna 13B 模型需要约 10GB 的 CPU 内存,如果内存不足,可以增加虚拟内存(交换空间)的大小 增加 Linux 系统中交换文件大小的教程:https://arcolinux.com/how-to-increase-the-size-of-your-swapfile/
- Git 和 wget 包
- 建议使用基于 Unix 的操作系统
安装步骤
Vicuna-1.1-13B 的一行安装脚本
git clone https://github.com/fredi-python/llama.cpp.git && cd llama.cpp && make -j && cd models && wget -c https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGUF/resolve/main/vicuna-13b-v1.5.Q4_K_M.gguf
Vicuna-1.1-7B 的一行安装脚本
git clone https://github.com/fredi-python/llama.cpp.git && cd llama.cpp && make -j && cd models && wget -c https://huggingface.co/TheBloke/vicuna-7B-v1.5-GGUF/resolve/main/vicuna-7b-v1.5.Q4_K_M.gguf
手动安装
1. 克隆 llama.cpp 仓库
git clone https://github.com/fredi-python/llama.cpp.git
2. 切换目录
cd llama.cpp
3. 编译
make -j
4. 切换到 llama.cpp/models 文件夹
cd models
5. a) 从 Huggingface 下载最新的 Vicuna 模型(13B)
wget -c https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGUF/resolve/main/vicuna-13b-v1.5.Q4_K_M.gguf
5. b) 从 Huggingface 下载最新的 Vicuna 模型(7B)
wget -c https://huggingface.co/TheBloke/vicuna-7B-v1.5-GGUF/resolve/main/vicuna-7b-v1.5.Q4_K_M.gguf
使用说明
返回到 llama.cpp 文件夹
cd ..
使用 llama.cpp 的 chat-with-vicuna-v1.txt 运行 13b 模型的示例
./main -m models/vicuna-13b-v1.5.Q4_K_M.gguf --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-vicuna-v1.txt