相关项目
retriv
retriv是一个Python搜索引擎库，支持稀疏、密集和混合检索模式。它利用Numba进行向量运算加速，整合了PyTorch、Transformers和Faiss等工具，实现了高效的检索功能。该库提供自动调优，支持多语言处理，并可通过简单的API快速构建搜索系统。
opensearch-neural-sparse-encoding-v1
此开源项目展示了一个学习型稀疏检索模型，通过将查询和文档编码为稀疏向量，提供高效的搜索解决方案。模型在MS MARCO数据集上进行训练，并在BEIR基准测试中展示了优良的搜索相关性与推理速度。支持OpenSearch神经稀疏功能，能与Lucene倒排索引结合，进行高效的索引与搜索。该项目提供多个模型版本，适应不同的数据集与应用需求。使用者能在OpenSearch集群内或通过HuggingFace模型API进行模型的外部运行。