vicuna-installation-guide

Vicuna 安装指南简介

Vicuna 安装指南项目为用户提供了详细的指引，以帮助用户顺利安装和配置 Vicuna 软件。本文将通过简明易懂的语言介绍该项目的主要内容和使用方法。

最新更新

本项目最近进行了以下更新：

• 更新至 Vicuna 1.5 版本（2023 年 10 月 10 日）
• 修正了此前的指南内容
• 增加了 7B 模型的安装说明
• 修正了 wget 命令语法错误
• 修改了在作者的 llama.cpp fork 中的 chat-with-vicuna-v1.txt
• 使用了最新的 Vicuna 1.1 版

系统要求

在安装 Vicuna 之前，需要注意以下系统要求：

• Vicuna 13B 模型需要约 10GB 的 CPU 内存。如果计算机内存不足，可以通过增加虚拟内存（交换分区）来补充。有关增加 Linux 系统交换分区的教程，请参考此链接。
• 需要安装 git 和 wget 软件包。
• 建议使用 Unix 系统以获得最佳兼容性。

安装步骤

一键安装脚本

项目提供了便捷的一键安装脚本供用户选择：

• 安装 Vicuna-1.1-13B 版本

  git clone https://github.com/fredi-python/llama.cpp.git && cd llama.cpp && make -j && cd models && wget -c https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGUF/resolve/main/vicuna-13b-v1.5.Q4_K_M.gguf
  

• 安装 Vicuna-1.1-7B 版本

  git clone https://github.com/fredi-python/llama.cpp.git && cd llama.cpp && make -j && cd models && wget -c https://huggingface.co/TheBloke/vicuna-7B-v1.5-GGUF/resolve/main/vicuna-7b-v1.5.Q4_K_M.gguf
  

手动安装步骤

对于需要手动安装的用户，指南提供了详细的步骤：

1. 克隆 llama.cpp 代码库

   git clone https://github.com/fredi-python/llama.cpp.git
   

2. 进入项目目录

   cd llama.cpp
   

3. 编译项目

   make -j
   

4. 切换到 models 目录

   cd models
   

5. 下载最新的 Vicuna 模型

   • 下载 13B 模型：

     wget -c https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGUF/resolve/main/vicuna-13b-v1.5.Q4_K_M.gguf
     

   • 下载 7B 模型：

     wget -c https://huggingface.co/TheBloke/vicuna-7B-v1.5-GGUF/resolve/main/vicuna-7b-v1.5.Q4_K_M.gguf
     

使用方法

安装完成后，用户可以通过以下方法开始使用 Vicuna：

1. 返回到 llama.cpp 目录

   cd ..
   

2. 运行示例命令

   • 以下是使用 llama.cpp 的 chat-with-vicuna-v1.txt 脚本运行 13B 模型的示例命令：

     ./main -m models/vicuna-13b-v1.5.Q4_K_M.gguf --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-vicuna-v1.txt
     

通过上述步骤，用户可以体验到 Vicuna 强大的功能，简化了在 Unix 系统上安装和配置复杂软件的过程。该指南致力于帮助用户以便捷的方式了解和使用 Vicuna 模型。