#RAG

Korvus是一款开源搜索SDK，将整个RAG（检索增强生成）流程整合在单个数据库查询中。基于Postgres，支持Python、JavaScript和Rust等编程语言，提供高性能且可定制的搜索功能，减少基础设施的复杂性。它结合了LLMs、向量存储、嵌入生成、重排和摘要等功能，简化搜索架构，提升性能。

Casibase 是一个开源AI知识库，提供类似LangChain的RAG（检索增强生成）功能，配有友好的Web UI和企业级单点登录（SSO）。支持多种AI模型，包括OpenAI、Azure、LLaMA、Google Gemini、HuggingFace、Claude和Grok等。系统包括前端（JavaScript + React）和后端（Golang + Beego + Python + Flask + MySQL），为用户提供强大的知识管理和生成能力。访问 https://casibase.org 获取更多信息和在线演示。

Ragas是一款工具集，用于评估、监控和优化RAG（检索增强生成）应用的性能，特别适合生产环境中的大语言模型（LLM）。Ragas集成了最新研究成果，能在CI/CD流程中进行持续检查，确保管道性能稳定。通过简单的安装和快速入门示例，用户可以快速体验Ragas的功能，并参与社区讨论LLM和生产相关问题。

Pathway的LLM应用让高精度RAG AI应用快速上线，使用最新数据源。支持文件系统、Google Drive、Sharepoint、S3、Kafka、PostgreSQL等多种数据源的连接和同步，无需额外基础设施。提供多种模板，扩展至数百万页文档，满足不同需求。

NVIDIA提供的生成式AI示例，使用CUDA-X软件栈和NVIDIA GPU，展示快速部署、测试和扩展AI模型的方法。包括最新的RAG管道构建技巧、实验性示例和企业应用，支持本地和远程推理，集成流行LLM编程框架，并附有详细开发文档。

本项目汇集了最新的LLM检索增强生成（RAG）技术研究论文，包括RAG指令调优、上下文学习、嵌入、模拟、搜索、长文本与记忆、评估、优化及应用等方面。资源库为研究者提供全面参考，鼓励研究成果的提交与共享，促进RAG技术发展。

了解一系列使用OpenAI、Anthropic、Google等模型以及本地LLaMA模型构建的LLM应用，涵盖从代码库、电子邮件到投资、旅行等各个领域。这些应用通过详细的文档和开源生态系统，推动AI在多个领域的创新和发展。

Neum AI是一个数据平台，帮助开发者利用检索增强生成（RAG）技术。它从现有数据源提取数据，生成向量嵌入，并导入向量数据库进行相似性搜索。平台具有高吞吐量分布式架构，处理数十亿数据点，内置数据连接器和实时同步功能，确保数据最新，并支持元数据混合检索，提供全面的RAG解决方案。

ChatPDF是一个基于本地LLM的文件检索和知识问答系统，支持包括PDF、docx在内的多种文件格式。系统集成了多项算法优化功能，例如Chinese chunk切分、embedding优化和检索匹配等，致力于提高RAG的准确率。此外，系统通过使用reranker模块和扩展上下文功能优化查询的精确度。基于gradio开发，该系统支持简便的Web服务启动，便于在本地环境搭建和使用。

AutoLLM 提供简化的 LLM 应用开发体验，支持 100 多种语言模型和 20 多种向量数据库，具有成本计算、快速创建 RAG LLM 引擎和 FastAPI 应用等功能。通过一行代码即可实现高效的查询引擎和 API 部署，适用于多种应用场景。

Canopy是基于Pinecone的开源RAG框架，支持从文本嵌入到上下文检索和生成的全流程应用开发。通过内置服务器和CLI工具，用户可以高效部署和评估RAG应用，优化文档聊天与查询功能。更多信息请参考我们的博客与教程。

深入探索增强检索技术如何推动AI内容生成的进步。RAG-Survey项目综合最新研究，涵盖查询基准、潜在表达式和逻辑基础RAG等多种方法，持续更新其调研报告和文献库。项目专注于提升检索增强生成模型，精准高效地应用于开放域问答、代码生成等多个AI领域。

优化描述，以如何在本地机器上快速建立和运行ChatPDF为核心，突出其隐私保护和成本效益的特点。进一步细化技术栈的用途，即Langchain、Ollama和Streamlit如何具体提升操作效率和用户界面体验。

txtchat结合检索增强型生成(RAG)及语言模型提供高级搜索解决方案，支持内容摘要、翻译及变换，并可集成至多种消息平台，如Rocket.Chat，适合企业和开发者优化AI响应与工作流程，提升用户交互效果。

ChatPilot提供丰富的对话代理功能，支持Google搜索、文件对话（RAG）、代码解释等，实现多角色和多工具协同工作。基于LangChain和Agentica技术，实现多种外部工具调用和自定义提示。在前端使用Svelte，后端使用FastAPI，支持前后端分离架构。功能还包括语音输入输出、用户管理和聊天记录管理，适用于集成多功能和灵活部署的对话系统。

pykoi是一个开源的Python库，利用RLHF优化大型语言模型（LLM）。它提供统一界面，包含RLHF/RLAIF数据和反馈收集、强化学习微调及模型比较等功能，支持用户存储聊天记录并进行性能对比。此外，pykoi还支持快速实现上下文感知对话生成，并确保数据隐私和安全，适用于CPU和GPU等多种计算资源。

LLaMa2lang提供便捷脚本，微调LLaMa3-8B模型以适应不同语言。结合RAG和翻译模型，将数据集OASST1翻译为目标语言，进行数据集成和细调，并支持推理。支持DPO和ORPO等优化方法，进一步提升模型回答质量，兼容多个基础模型与翻译架构。

结合LLM与Django，高效开发AI助手以满足用户需求。通过AI Tool Calling和RAG技术与Django的深度集成，提供详细文档和5分钟演示视频，支持社区互动和贡献，提供商业支持。

GPT-RAG解决方案加速器为企业提供了稳固的架构，适用于企业级RAG模式部署。该架构通过零信任安全和负责任的AI，确保响应的可靠性、可用性、可扩展性和可审计性。其模块化组件包括数据采集、编排和前端应用，使得企业能够从探索阶段顺利过渡到大规模生产和MVP阶段。

MongoDB Chatbot框架基于MongoDB与Atlas Vector Search，支持检索增强生成（RAG）。从原型到生产无缝过渡，通过内置数据摄取流程、聊天机器人服务器和Web UI，快速启动定制化AI聊天机器人应用。框架灵活支持多种AI模型与复杂提示策略，并提供编程评估工具。

ChatGPTCLIBot是一款支持多种GPT模型（如gpt-3.5-turbo、text-davinci-003、GPT-4）的CLI程序。用户可以通过修改config.json文件轻松切换模型，并享有接近无限的上下文记忆和自定义初始提示功能。此外，该工具支持聊天记录保存、撤销和重置操作，提升使用效率。适用于Windows、Linux和macOS操作系统，这是一个高效的跨平台聊天工具。

创建一个基于Web的聊天应用，利用OpenAI模型回答PostgreSQL数据库中的问题。前端使用React和FluentUI，后端采用Python和FastAPI。该项目支持在Azure上部署，通过Azure Developer CLI工具进行操作。主要功能包括结合向量搜索与全文搜索的混合搜索，以及将用户查询转换为SQL条件等。可通过GitHub Codespaces或VS Code Dev Containers快速启动，本地开发需配置Azure CLI、Node.js、Python、PostgreSQL和Docker等工具。

Synthesizer是一个通用的LLM框架，支持通过LLMs生成定制数据集，快速进行RAG集成，且设置简便。它内置的RAG供应商接口支持与Agent Search API无缝集成，适用于LLM训练和数据增强。用户可访问官方文档获取详细信息、教程和API参考，并在Discord社区中讨论。

Spring AI是一个面向Spring开发者的AI开发框架,提供友好API和抽象层,简化AI应用开发流程。该项目集成了OpenAI、Azure OpenAI等多种主流AI模型,支持向量数据库、提示工程和文档处理等功能。开发者可借助Spring AI为应用添加聊天机器人、文本生成、知识问答等智能化特性。

BCEmbedding是一款双语和跨语言嵌入模型，针对检索增强生成(RAG)任务进行优化。该模型包含EmbeddingModel和RerankerModel两个组件，分别用于语义向量生成和搜索结果优化。BCEmbedding在中英文语义表示和RAG评估中展现出优异性能，支持多语言和多领域应用。该项目提供了便捷的API接口，可直接集成到RAG系统中，已在实际产品中得到应用验证。

该研究对检索增强生成(RAG)技术进行了系统性调查和分类。文章全面总结了RAG的基础方法,包括基于查询、潜在表示和logit的技术,以及新兴的推测性RAG。同时深入探讨了RAG的多种增强策略,涵盖输入优化、检索器改进和生成器增强等关键方面。这份综述为AI领域的研究人员和开发者提供了RAG技术的最新进展概览,有助于把握未来研究方向。

Nucleo AI是一款融合人工智能与传统生产力工具的个人助理应用。它支持多任务处理，包括后台聊天回复、任务处理和信息流管理。该应用提供常规聊天、AI助手、研究员和文档管理等功能，并集成待办事项列表。Nucleo AI通过智能化支持提升工作效率，适用于日常任务管理。

Haystack-cookbook是一个开源项目,集成了多种自然语言处理任务的实践案例。项目展示了如何使用Haystack框架,结合各类模型、向量数据库和检索技术构建NLP应用。内容涵盖文本问答、多语言处理、语音识别和信息提取等领域,为开发者提供了丰富的代码示例和学习资源。项目通过Jupyter Notebook形式呈现多个实用案例,包括使用不同的语言模型、向量数据库进行文本检索、问答系统构建等。这些示例涵盖了从基础NLP任务到高级应用的广泛场景,有助于开发者快速上手Haystack框架并探索其在实际项目中的应用潜力。

Verba是一款开源的检索增强生成(RAG)应用程序，提供端到端的简便界面。支持多种模型和数据类型，可在本地或云端部署。该应用程序允许用户探索数据集、提取见解，并通过自然语言与文档交互。Verba整合了先进的RAG技术和Weaviate的上下文感知数据库，可根据具体需求选择RAG框架、数据类型、分块和检索技术以及LLM提供商。这为文档问答和知识库分析提供了灵活而强大的解决方案。

HippoRAG是一个借鉴人类长期记忆神经生物学原理的检索增强生成(RAG)框架。它能让大型语言模型持续整合外部文档知识,以较低的计算成本实现通常需要昂贵迭代LLM管道才能达成的功能。该框架兼容ColBERTv2和Contriever等检索模型,还可与IRCoT结合获得互补效果。HippoRAG为大型语言模型提供了一种高效的长期记忆解决方案,在提升模型性能的同时降低了计算资源需求。

本项目提供了一个实践指南，聚焦于检索增强生成(RAG)应用的构建、评估和优化。内容涵盖基础RAG堆栈设置、评估套件创建、性能优化等关键环节。通过实操，开发者可学习如何利用大型语言模型(LLMs)处理私有数据，开发聊天机器人等AI应用。

finetune-embedding项目展示了利用合成数据微调嵌入模型来提升RAG性能的方法。该项目详细介绍了使用大语言模型生成合成数据集、微调开源嵌入模型和评估模型效果的步骤。在小规模金融PDF文档数据集上的实验证明，微调后的嵌入模型能显著提高检索性能。这种方法通过大语言模型生成假设性问题，无需人工标注即可创建高质量训练数据，为RAG系统优化提供了新思路。

vlite是一款开源的轻量级向量数据库,无需额外配置即可使用。该项目支持多种文件格式导入,内置嵌入生成功能,并采用CTX文件格式存储用户上下文。vlite在索引和检索速度方面表现优异,同时具有更小的磁盘占用。这使其成为RAG、智能代理和ChatGPT插件等AI应用的理想选择。vlite还提供LangChain集成,有助于快速构建高性能AI应用。

本项目汇集22种先进RAG技术，涵盖简单RAG到复杂可控代理等多种方法，包括上下文丰富、多方面过滤、融合检索和智能重排序等。这些技术旨在提高检索增强生成系统的准确性、效率和上下文丰富度，为研究人员和实践者提供全面实施指南，助力开发更高效RAG系统。

nlm-ingestor是一个开源的文档解析工具，专门针对RAG(检索增强生成)进行了优化。它支持PDF、HTML和文本等多种格式，提供章节划分、段落链接和表格识别等精确的内容结构化功能。该项目整合了改进版Apache Tika和OCR技术，能够高效处理大型文档。nlm-ingestor不依赖特殊硬件，为开发者提供了强大的基础设施，有助于提高LLM项目的检索和生成性能。

本项目展示了一个客户支持应用实例，集成LangChain4j、Spring AI和Semantic Kernel等Java AI框架。应用具有访问条款条件、执行Java方法和LLM用户交互功能。前端使用Vaadin Hilla，后端采用Spring Boot。项目为开发者提供了比较Java AI库的平台，便于选择适合特定需求的框架。项目实现了基于检索增强生成（RAG）的条款访问功能，并支持Java方法调用。开发者可通过此项目比较不同Java AI框架的实现方式和性能表现。