#检索增强生成

本项目汇集了最新的LLM检索增强生成（RAG）技术研究论文，包括RAG指令调优、上下文学习、嵌入、模拟、搜索、长文本与记忆、评估、优化及应用等方面。资源库为研究者提供全面参考，鼓励研究成果的提交与共享，促进RAG技术发展。

ArXiv ChatGuru使用LangChain和Redis技术，使ArXiv庞大的科学论文库变得更加互动。该系统通过主题检索相关论文并生成嵌入向量，帮助用户以问答形式探索学术内容，提高科研文献的易接触性和理解度。

这个开源项目提供了一个智能写作和思维助手，通过检索相关笔记和文档来帮助撰写特定章节，并基于日常日志反思每周进展。项目采用retrieval-augmented generation模式，适用于多种场景。页面详细介绍技术实现以及快速启动方法，支持定制路径配置和插件安装。

RAGatouille是一个开源的检索增强生成(RAG)工具包,专注于将先进的检索方法应用于RAG管道。它集成了ColBERT等最新研究成果,提供简单易用的API接口用于模型训练、文档索引和检索。RAGatouille的设计理念是模块化和易用性,同时保持高度可定制性。通过优化检索性能,该工具包旨在提升RAG系统的整体效果,促进信息检索技术在实际应用中的发展。

该研究对检索增强生成(RAG)技术进行了系统性调查和分类。文章全面总结了RAG的基础方法,包括基于查询、潜在表示和logit的技术,以及新兴的推测性RAG。同时深入探讨了RAG的多种增强策略,涵盖输入优化、检索器改进和生成器增强等关键方面。这份综述为AI领域的研究人员和开发者提供了RAG技术的最新进展概览,有助于把握未来研究方向。

LongRAG项目推出新型检索增强生成框架，采用4K token长检索单元提升RAG性能。项目核心包括长检索器和长阅读器，平衡检索与阅读任务复杂度。除提供完整代码实现，还开放处理后的语料库数据集。这为研究长文本LLM与RAG结合提供了重要资源，有助于探索该领域的未来发展方向。

MultiHop-RAG是一个评估检索增强生成(RAG)系统跨文档能力的问答数据集。它包含2556个多跳查询，每个查询的证据分布在2至4个文档中，并考虑文档元数据，模拟真实RAG应用中的复杂场景。该项目提供检索和问答示例以及评估脚本，帮助研究人员和开发者改进RAG系统的多文档推理能力。

FlashRAG是一个专为检索增强生成(RAG)研究设计的Python工具库。该库预处理了32个RAG基准数据集,实现了14种先进RAG算法。FlashRAG提供检索器、重排器、生成器和压缩器等组件,支持灵活构建RAG流程。通过整合vLLM、FastChat和Faiss等工具,FlashRAG优化了执行效率。研究人员可借助该库轻松复现已有RAG方法或开发新的RAG流程。

GNN-RAG项目探索了图神经网络在大语言模型推理中的应用。该方法在密集子图上进行推理，检索候选答案和推理路径，结合了GNN的结构化推理和LLM的自然语言处理能力。项目提供了GNN实现和基于RAG的LLM问答系统的代码，以及实验结果。研究表明，这种方法在知识图谱问答任务中具有提升性能的潜力。

本项目汇集22种先进RAG技术，涵盖简单RAG到复杂可控代理等多种方法，包括上下文丰富、多方面过滤、融合检索和智能重排序等。这些技术旨在提高检索增强生成系统的准确性、效率和上下文丰富度，为研究人员和实践者提供全面实施指南，助力开发更高效RAG系统。

RAGstack是一个基于检索增强生成(RAG)技术的企业级智能问答平台。该项目支持Llama 2、Falcon和GPT4All等开源大语言模型，利用Qdrant向量数据库实现高效文档检索。RAGstack提供简洁的服务器和用户界面，支持PDF文档上传和智能问答。系统可在本地运行，也可轻松部署到各大主流云平台，为企业提供安全可控的私有化知识问答解决方案。

Self-RAG是一种创新框架,通过自反学习使语言模型实现按需检索、生成和评估。该方法预测反思标记,支持多次检索或跳过检索,并从多角度评估生成内容。这不仅提高了模型输出的事实性和质量,还保持了语言模型的通用性能。

The Prompt Engineering Institute专注于提示工程领域，提供最新教程、资源、趋势和实用工具。网站涵盖零样本提示、检索增强生成等多个主题，并提供丰富的提示模板库。致力于帮助AI爱好者和专业人士更好地理解和应用大语言模型，是一个全面的提示工程学习平台。

Superpowered AI专注于提供检索增强生成(RAG)服务。平台采用SuperStack技术，包含AutoQuery、相关片段提取和AutoContext功能，解决了传统RAG系统的不足。支持多样化的数据接入和灵活部署，提供REST API、Python包和React组件。适用于客户服务、员工效率提升、法律分析和教育等领域。平台注重数据安全，使用256位AES加密。目前已获得6000多用户的信赖，正在推动检索增强生成技术的创新应用。

RAGGA是一个实现检索增强生成(RAG)技术最佳实践的开源项目。基于论文研究，项目提供RAG系统性能优化方法和策略，包含代码实现和复现指南。RAGGA通过实验验证了多种RAG技术优化策略，包括检索方法改进、上下文融合等。这些发现对于提升自然语言处理任务的性能具有重要意义，为RAG技术研究和应用提供了重要参考资源。

RAG Foundry是一个开源框架,通过RAG增强数据集微调模型来提升大语言模型的外部信息检索能力。该框架包含数据集创建、模型训练、推理和评估四个模块,支持快速原型设计和RAG实验。其模块化设计和可定制工作流程,有助于研究人员和开发者高效改进LLM的检索增强生成能力。

chromem-go是一款Go语言内嵌式向量数据库，采用Chroma风格接口，无需第三方依赖。支持内存存储和可选持久化，聚焦常见用例的简单性和性能。适用于检索增强生成(RAG)和语义搜索等场景，可直接嵌入应用无需单独部署。具备多线程处理能力，支持多种嵌入创建方式，提供相似度搜索和过滤功能。

CRUD_RAG是一个全面的中文检索增强生成(RAG)系统评估基准。该项目包含36166个测试样本，覆盖CRUD操作，支持多种评估指标。CRUD_RAG提供原生中文数据集、评估任务和基线模型，并具备一键式评估功能。这一工具可助力研究人员和开发者全面评估和优化中文RAG系统性能，推动中文自然语言处理技术的进步。

FilCo项目开发了一种新型上下文过滤方法，旨在改进检索增强生成(RAG)系统。该方法通过筛选最相关的上下文信息来提高生成质量。项目开源了完整代码，涵盖上下文评分、数据处理、模型训练和评估等功能。研究人员可以复现实验并将此技术应用于问答和对话等RAG任务中。

RAG-Sequence模型是基于《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》论文研发的开源项目。该模型集成了问题编码器、检索器和生成器，可从wiki_dpr数据集提取相关段落并生成答案。经过wiki_dpr问答数据集的端到端微调，这个不区分大小写的模型能够处理各类事实性问题。开发者可通过Hugging Face的transformers库轻松应用此模型，为知识密集型NLP任务提供高效解决方案。

RAG-Token-Base是一个开源的自然语言处理模型，集成了问题编码器、检索器和生成器三个核心组件。模型采用DPR编码器和BART生成器架构，通过结合外部知识实现高质量的文本生成。其灵活的检索器配置功能使其适用于各类知识密集型的语言处理任务。

基于Llama-3开发的大语言模型，专注于优化对话式问答和检索增强生成能力。模型提供8B和70B两个版本，采用改进的训练方案，增强了表格理解和算术计算能力。在ChatRAG Bench评测中，模型在多个数据集上表现优异，尤其擅长处理上下文对话和文档检索。支持完整文档输入和分块检索两种使用方式，适用于多种对话问答场景。

C4AI Command R 08-2024是一个研究发布的32亿参数语言模型，优化于多种用例如推理、总结与问答，支持多语言生成，在23种语言中训练，并在10种语言中评估。该模型具备检索增强生成能力，可基于文档片段生成带引文的响应。相关能力通过监督和偏好微调实现，提升用户体验与安全性。详情请访问Cohere For AI平台。