🚀 基于txtai的RAG

这个项目是一个基于txtai的检索增强生成（RAG）Streamlit应用程序。

检索增强生成（RAG）通过限制大语言模型（LLM）生成答案的上下文来帮助生成事实准确的内容。这通常通过搜索查询来实现，该查询用相关上下文填充提示。

这个应用程序支持两类RAG。

• 向量RAG：通过向量搜索查询提供上下文
• 图RAG：通过图路径遍历查询提供上下文

快速开始

运行这个应用程序的两种主要方式是使用Docker容器和Python虚拟环境。推荐使用Docker运行，至少可以了解应用程序的功能。

Docker

neuml/rag在Docker Hub上可用：

可以使用默认设置运行，如下所示。

docker run -d --gpus=all -it -p 8501:8501 neuml/rag

Python虚拟环境

也可以直接安装和运行应用程序。建议在Python虚拟环境中运行。

pip install -r requirements.txt

启动应用程序。

streamlit run rag.py

演示

上面的短视频片段简要概述了这个RAG系统。它展示了一个基本的向量RAG查询。它还展示了一个带有上传数据的图RAG查询。以下部分将详细介绍这些概念。

RAG

传统RAG或向量RAG运行向量搜索以找到与用户输入最相关的前N个匹配项。这些匹配项被传递给LLM，然后返回答案。

查询"谁创造了Linux？"在嵌入索引中运行向量搜索以找到最佳匹配的文档。然后将这些匹配项放入LLM提示中。执行LLM提示并返回答案。

图RAG

图RAG是一种使用知识或语义图来生成上下文的新方法。它不是进行向量搜索，而是运行图路径查询。在此应用程序中，图RAG支持以下方法来生成上下文。

• 带有gq:前缀的图查询。这是一种图查询扩展形式。它首先进行向量搜索以找到前n个结果。然后使用存储在向量数据库旁边的图网络扩展这些结果。

  • gq: 告诉我关于Linux的信息

• 图路径查询。此查询接受一系列概念，并找到与这些概念最接近的节点。然后运行图路径遍历以构建与这些概念相关的节点上下文。这个遍历的结果作为上下文传递给LLM。

  • linux -> macos -> microsoft windows

• 两者的组合。这首先运行图路径查询，然后仅在该路径遍历的上下文中运行图查询。

  • linux -> macos -> microsoft windows gq: 告诉我关于Linux的信息

每个图RAG查询响应还将显示相应的图，以帮助理解查询的工作原理。图中的每个节点都是一个部分（段落）。节点标签是在上传时通过LLM提示生成的主题标签。

向索引添加数据

无论RAG应用程序是新的嵌入索引还是现有的索引，都可以添加额外的数据。

可以按以下方式添加数据。

方法
# 文件路径或URL
# 这里是自定义注释和文本作为字符串！

当查询以#开头时，RAG应用程序会读取URL或文件，并将其加载到索引中。这种方法还支持将文本直接加载到索引中。例如，# txtai是一个全能的嵌入数据库会在嵌入数据库中创建一个新条目。

配置参数

RAG应用程序有多个环境变量可以设置，用于控制应用程序的行为。

注意：AWQ模型仅支持x86-64机器

在应用程序中，可以通过输入:settings显示这些设置。

以下是使用Docker容器设置这些配置的示例。在Python虚拟环境中运行时，只需将这些设置为环境变量即可。

Llama 3.1 8B

docker run -d --gpus=all -it -p 8501:8501 -e LLM=hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 neuml/rag

通过Ollama使用Llama 3.1 8B

docker run -d --gpus=all -it -p 8501:8501 --add-host=host.docker.internal:host-gateway \
-e LLM=ollama/llama3.1:8b-instruct-q4_K_M -e OLLAMA_API_BASE=http://host.docker.internal:11434 \
neuml/rag

GPT-4o

docker run -d --gpus=all -it -p 8501:8501 -e LLM=gpt-4o -e OPENAI_API_KEY=your-api-key neuml/rag

使用另一个嵌入索引运行

docker run -d --gpus=all -it -p 8501:8501 -e EMBEDDINGS=neuml/arxiv neuml/rag

使用本地文件目录构建嵌入索引

docker run -d --gpus=all -it -p 8501:8501 -e DATA=/data/path -v local/path:/data/path neuml/rag

持久化嵌入和缓存模型

docker run -d --gpus=all -it -p 8501:8501 -e DATA=/data/path -e EMBEDDINGS=/data/embeddings \
-e PERSIST=/data/embeddings -e HF_HOME=/data/modelcache -v localdata:/data neuml/rag

有关更多信息，请参阅LLM管道和嵌入的文档。

延伸阅读

• 基于txtai的RAG介绍