构建本地运行的RAG系统:Langchain、Ollama和Streamlit实现

Ray

local-rag-example 随着大型语言模型(LLM)能力的不断提升,越来越多基于OpenAI和Anthropic等巨头LLM提供商的应用正在涌现。这些应用背后的核心技术是检索增强生成(RAG)框架。本文将跳过RAG的基础知识,直接指导读者如何构建一个可以在本地笔记本电脑上运行的RAG应用,无需担心数据隐私和token成本问题。

我们将构建一个类似ChatPDF但更简单的应用。用户可以上传PDF文档,并通过简单的用户界面提问。我们的技术栈非常简单,包括Langchain、Ollama和Streamlit。

LLM服务器

应用的最关键组件是LLM服务器。得益于Ollama,我们可以在本地甚至笔记本电脑上轻松搭建一个强大的LLM服务器。虽然llama.cpp也是一个选择,但我发现用Go语言编写的Ollama更容易设置和运行。

LLM领域最主要的两个库无疑是Langchain和LlamaIndex。本项目将使用Langchain,因为我在专业工作中更熟悉它。任何RAG框架的一个重要组件是向量存储。我们将使用Chroma,因为它与Langchain集成得很好。

聊天界面

用户界面也是一个重要组件。虽然有很多可用的技术,但我更喜欢使用Python库Streamlit,它可以让我安心地快速原型开发AI/ML应用。

让我们开始设置吧。

设置Ollama

如前所述,设置和运行Ollama非常简单。首先,访问ollama.ai并下载适合你操作系统的应用。

然后,打开终端,执行以下命令拉取最新的Mistral-7B模型。虽然还有许多其他可用的LLM模型,但我选择Mistral-7B是因为它体积小巧且质量具有竞争力。

ollama pull mistral

构建RAG管道

我们过程的第二步是构建RAG管道。考虑到我们应用的简单性,我们主要需要两个方法:ingest和ask。

ingest方法接受一个文件路径,并通过两个步骤将其加载到向量存储中:首先,它将文档分割成更小的块以适应LLM的token限制;其次,它使用Qdrant FastEmbeddings对这些块进行向量化,并将它们存储到Chroma中。

ask方法处理用户查询。用户可以提出问题,然后RetrievalQAChain使用向量相似性搜索技术检索相关上下文(文档块)。

有了用户的问题和检索到的上下文,我们就可以组成一个提示,并向LLM服务器请求预测。

[此处插入RAG管道的Python代码]

提示来自Langchain hub:Langchain RAG Prompt for Mistral。这个提示已经经过测试并被下载了数千次,是学习LLM提示技术的可靠资源。

你可以在这里了解更多关于LLM提示技术的信息。

实现的更多细节:

ingest: 我们使用PyPDFLoader加载用户上传的PDF文件。然后,Langchain提供的RecursiveCharacterSplitter将这个PDF分割成更小的块。使用Langchain的filter_complex_metadata函数过滤掉ChromaDB不支持的复杂元数据很重要。

对于向量存储,我们使用Chroma,并将Qdrant FastEmbed作为我们的嵌入模型。这个轻量级模型然后被转换为一个检索器,分数阈值为0.5,k=3,意味着它返回分数高于0.5的前3个块。最后,我们使用LCEL构建一个简单的对话链。

ask: 这个方法只是将用户的问题传入我们预定义的链中,然后返回结果。

clear: 当上传新的PDF文件时,这个方法用于清除之前的聊天会话和存储。

设计简单的用户界面

对于简单的用户界面,我们将使用Streamlit,这是一个为AI/ML应用快速原型设计的UI框架。

[此处插入Streamlit UI代码]

用命令streamlit run app.py运行这段代码,看看它是什么样子。

好了,就是这样!我们现在有了一个完全在你的笔记本电脑上运行的ChatPDF应用。由于这篇文章主要关注如何构建自己的RAG应用的高层概述,还有几个方面需要微调。你可以考虑以下建议来增强你的应用并进一步发展你的技能:

为对话链添加记忆: 目前,它不记得对话流程。添加临时记忆将帮助你的助手意识到上下文。
允许多文件上传: 一次聊天一个文档是可以的。但想象一下,如果我们可以聊多个文档 - 你可以把整个书架都放进去。那会非常酷!
使用其他LLM模型: 虽然Mistral很有效,但还有许多其他可用的替代方案。你可能会找到更适合你需求的模型,比如为开发者设计的LlamaCode。但是,请记住,模型的选择取决于你的硬件,特别是你拥有的RAM数量💵
增强RAG管道: RAG内部还有很大的实验空间。你可能想改变检索指标、嵌入模型,或者添加像重排序器这样的层来改善结果。

完整源代码: https://github.com/vndee/local-rag-example

通过这个项目,你可以学习如何构建一个本地运行的RAG系统,实现数据隐私保护,同时探索LLM应用开发的各个方面。这为进一步定制和优化RAG系统提供了良好的起点,让你能够根据特定需求开发更复杂的应用。