🧺 RAGstack

在您的 VPC 内部署私有 ChatGPT 替代方案。将其连接到您组织的知识库，并将其用作企业智囊团。支持开源 LLM，如 Llama 2、Falcon 和 GPT4All。

**检索增强生成（RAG）**是一种技术，通过从其他系统检索信息并通过提示将其插入到 LLM 的上下文窗口中来增强大型语言模型（LLM）的能力。这为 LLM 提供了超出其训练数据的信息，这对几乎所有企业用例都是必要的。例如包括来自当前网页的数据、来自 Confluence 或 Salesforce 等 SaaS 应用的数据，以及来自销售合同和 PDF 等文档的数据。

RAG 比微调模型效果更好，因为它更便宜、更快，而且更可靠，因为每个响应都提供了信息来源。

RAGstack 为检索增强生成部署以下资源：

开源 LLM

GPT4All：在本地运行时，RAGstack 将下载并部署 Nomic AI 的 gpt4all 模型，该模型可在消费级 CPU 上运行。
Falcon-7b：在云端，RAGstack 将技术创新研究所的 falcon-7b 模型部署到启用 GPU 的 GKE 集群上。
LLama 2：在云端，RAGstack 还可以将 Meta 的 Llama 2 模型的 7B 参数版本部署到启用 GPU 的 GKE 集群上。

向量数据库

Qdrant：Qdrant 是用 Rust 编写的开源向量数据库，因此它具有高性能且可自托管。

服务器 + UI

简单的服务器和 UI，可处理 PDF 上传，让您可以使用 Qdrant 和所选的开源 LLM 与 PDF 进行对话。 Screenshot 2023-08-02 at 9 22 27 PM

本地运行

将 ragstack-ui/local.env 复制到 ragstack-ui/.env
将 server/example.env 复制到 server/.env
在 server/.env 中，将 YOUR_SUPABASE_URL 替换为您的 supabase 项目 URL，将 YOUR_SUPABASE_KEY 替换为您的 supabase 密钥 API 密钥。在 ragstack-ui/.env 中，将 YOUR_SUPABASE_URL 替换为您的 supabase 项目 URL，将 YOUR_SUPABASE_PUBLIC_KEY 替换为您的 supabase 公共 API 密钥。您可以在 supabase 仪表板的 Settings > API 下找到这些值
在 Supabase 中，创建一个名为 ragstack_users 的表，包含以下列：
列名类型
id uuid
app_id uuid
secret_key uuid
email text
avatar_url text
full_name text

列名	类型
id	uuid
app_id	uuid
secret_key	uuid
email	text
avatar_url	text
full_name	text

如果添加了行级安全性，请确保插入和选择的 WITH CHECK 表达式为 (auth.uid() = id)。

运行 scripts/local/run-dev。这将下载 ggml-gpt4all-j-v1.3-groovy.bin 到 server/llm/local/ 并在本地运行服务器、LLM 和 Qdrant 向量数据库。

当您看到以下消息时，所有服务将准备就绪：

INFO:     Application startup complete.

部署到 Google Cloud

要使用在 GPU 上运行的 Falcon-7B 将 RAG 堆栈部署到您自己的 Google Cloud 实例，请执行以下步骤：

运行 scripts/gcp/deploy-gcp.sh。这将提示您输入 GCP 项目 ID、服务账号密钥文件和区域以及其他一些参数（模型、HuggingFace 令牌等）。
如果在 Falcon-7B 部署步骤出现错误，请运行以下命令，然后再次运行 scripts/gcp/deploy-gcp.sh：

gcloud config set compute/zone YOUR-REGION-HERE
gcloud container clusters get-credentials gpu-cluster
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yaml

部署脚本是使用 Terraform 实现的。