fastRAG: 高效的检索增强生成框架

fastRAG简介

fastRAG是英特尔实验室开发的一个开源研究框架,旨在构建高效和优化的检索增强生成(RAG)管道。它集成了最先进的大语言模型(LLM)和信息检索技术,为研究人员和开发人员提供了一套全面的工具,用于推进RAG技术的发展。

fastRAG的主要目标是提高RAG系统的计算效率和性能。它利用了多种优化技术,如量化、模型剪枝和蒸馏等,并针对英特尔硬件进行了特定优化,以在英特尔® Xeon® 处理器和英特尔® Gaudi® AI加速器上实现最佳性能。

主要特性

fastRAG具有以下几个关键特性:

优化的RAG: 使用最先进的高效组件构建RAG管道,提高计算效率。
针对英特尔硬件优化: 利用Intel PyTorch扩展(IPEX)、Optimum Intel和Optimum-Habana等技术,在英特尔硬件上实现最佳性能。
可定制性: 基于Haystack和HuggingFace构建,所有组件都与Haystack 100%兼容。
多种后端支持: 支持在Gaudi 2、ONNX Runtime、OpenVINO和Llama-CPP等多种后端上运行LLM。
优化的嵌入和排序组件: 提供了优化的int8双编码器嵌入模型和交叉编码器排序模型。
高效的RAG组件: 集成了ColBERT、Fusion-in-Decoder(FiD)、REPLUG等高效的RAG组件。

安装和使用

fastRAG可以通过pip安装:

pip install fastrag

此外,还可以根据需要安装额外的依赖包:

pip install fastrag[intel]     # 英特尔优化后端
pip install fastrag[openvino]  # 使用OpenVINO的英特尔优化后端  
pip install fastrag[elastic]   # ElasticSearch存储支持
pip install fastrag[qdrant]    # Qdrant存储支持
pip install fastrag[colbert]   # ColBERT+PLAID支持