ArXivChatGuru

ArXiv ChatGuru 项目介绍

欢迎来到 ArXiv ChatGuru 项目。这个工具利用 LangChain 和 Redis，让 ArXiv 庞大的科学论文收藏变得更加互动和易于访问。通过这种方法，我们不仅希望让研究更加容易理解和参与，还希望教授如何使用检索增强生成（Retrieval Augmented Generation，RAG）系统。

📖 工作原理

ArXiv ChatGuru 的工作流程如下：用户提交一个主题，该主题用于从 ArXiv 检索相关论文。这些论文会被划分为更小的块，为其生成嵌入。这些嵌入存储在 Redis 中，Redis 被用作向量数据库。然后，用户可以根据他们提交的主题，针对检索到的论文提出问题，系统会返回最相关的答案。

🛠 组件说明

1. LangChain 的 ArXiv Loader：高效地直接从 ArXiv 拉取科学文献。
2. 块切分与嵌入生成：使用 LangChain，我们将长篇论文分割为可控的片段，然后为其生成嵌入。
3. Redis：展示快速高效的向量存储、索引和检索能力，以支持 RAG。
4. RetrievalQA：基于 LangChain 的 RetrievalQA 和 OpenAI 模型构建，用户可以就他们提交主题检索到的论文提出查询。
5. Python 库：使用如 redisvl、Langchain、Streamlit 等工具。

💡 学习目标

• 上下文窗口探索：了解上下文窗口大小的重要性及其如何影响互动结果。
• 向量距离理解：理解向量距离在 RAG 中的角色，观察调整如何改变响应的特异性。
• 文档检索动态：观察检索到的文档数量如何影响 RAG 系统的性能。
• 使用 Redis 作为向量数据库与语义缓存：学习如何使用 Redis 作为 RAG 系统的向量数据库及语义缓存。

注意：这不是一个生产应用。它更多是一个学习工具。我们使用 Streamlit 来简化互动，但它并不旨在成为一个可扩展的应用。我们会不断改进这个工具，以便更好地理解 RAG 系统的工作原理，以及如何利用其使科学文献更具互动性。

如果您喜欢我们的工作，请给我们一个星星！欢迎任何贡献和反馈。

未来计划

我们接下来的计划（欢迎提供想法！）：

• 固定稳定版本的依赖项，使用 Poetry
• 添加年份、作者等过滤器
• 更高效的块切分
• 各种 LLM 缓存切换
• Redis 中的聊天历史和会话记忆

如何运行应用

本地运行

1. 首先，克隆这个仓库并进入其目录。

   $ git clone https://github.com/RedisVentures/ArxivChatGuru.git && cd ArxivChatGuru
   

2. 创建你的环境文件：

   $ cp .env.template .env
   

   填写环境变量，特别是你的 OPENAI_API_KEY。

3. 使用 Poetry 安装依赖：

   $ poetry install --no-root
   

4. 运行应用：

   $ poetry run streamlit run app.py --server.fileWatcherType none --browser.gatherUsageStats false --server.enableXsrfProtection false --server.address 0.0.0.0
   

5. 打开浏览器访问：

   http://localhost:8501/
   

使用 Docker Compose

首先，如上所述克隆仓库。

1. 创建你的环境文件：

   $ cp .env.template .env
   

   填写环境变量，特别是你的 OPENAI_API_KEY。

2. 使用 Docker Compose 运行：

   $ docker compose up
   

   如果需要，在后台运行可以添加 -d 选项。

   如果遇到依赖问题，请尝试使用不缓存的方式强制构建：

   $ docker compose build --no-cache
   

3. 打开浏览器访问：

   http://localhost:8501/