#SPLADE

pgvecto.rs

pgvecto.rs是一个Postgres扩展，提供超低延迟、高精度的向量相似搜索功能，支持稀疏向量和全文本搜索。该扩展由Rust编写，基于pgrx框架，具备完整的SQL支持和异步索引等特性，简化数据管理并提升性能。支持FP16/INT8数据类型和二进制向量索引，是生产环境中集成前沿模型的理想选择。

LLM_Web_search

本项目通过特定指令增强本地LLM的网页搜索能力，使用duckduckgo-search进行搜索，并使用LangChain的上下文压缩和Okapi BM25（或SPLADE）技术提取相关信息并添加至模型输出中。支持自定义正则表达式和网页信息读取，推荐使用Llama-3-8B-instruct模型以实现高效搜索与信息提取。提供多种搜索后端与关键词检索器选项，提高兼容性和适用性。

splade

SPLADE项目使用BERT的MLM头和稀疏正则化来学习查询和文档的稀疏扩展，优化了检索性能。项目包含训练、索引和检索的代码，并支持在BEIR基准测试中评估。最新版本通过硬负样本采样、蒸馏和改进的预训练语言模型初始化，显著提升了检索效果。此外，SPLADE的稀疏表示优化了倒排索引的使用，提供了显式词汇匹配和可解释性等优点。经过优化的训练和正则化，SPLADE在域内外测试中表现优异，延迟性能与BM25相当。

splade-cocondenser-selfdistil

SPLADE CoCondenser SelfDistil是一个专为段落检索设计的模型，结合了CoCondenser和自蒸馏技术。在MS MARCO开发集上，该模型展现出优秀性能，MRR@10达37.6，R@1000达98.4。通过整合查询扩展、文档扩展和词袋方法，并采用硬负样本采样和知识蒸馏技术，有效提升了稀疏神经IR模型的效果。这一模型为信息检索和自然语言处理领域的研究提供了有力工具。

splade-cocondenser-ensembledistil

SPLADE CoCondenser EnsembleDistil是一种先进的段落检索模型，在MS MARCO开发集上展现出卓越性能，MRR@10达38.3，R@1000达98.3。该模型整合了查询扩展、文档扩展和词袋等技术，并通过知识蒸馏和硬负样本采样提升了稀疏神经信息检索模型的效果。研究人员可将其应用于相关信息检索任务，更多技术细节可参考相关论文。

splade-v3

SPLADE-v3是SPLADE系列的最新稀疏神经信息检索模型，基于SPLADE++SelfDistil优化而来。该模型采用KL散度和MarginMSE混合损失函数，每次查询选取8个负样本进行训练。在性能方面，SPLADE-v3在MS MARCO开发集上达到40.2的MRR@10分数，BEIR-13测试中获得51.7的平均nDCG@10。这一成果为稀疏神经信息检索领域树立了新标准。研究人员可以通过GitHub平台获取并应用SPLADE-v3模型，以提升信息检索效果。

efficient-splade-VI-BT-large-doc

SPLADE模型是一种针对文档检索的高效架构,采用查询和文档推理分离设计。该模型在MS MARCO开发集上达到38.0 MRR@10和97.8 R@1000的性能,同时将推理延迟降至0.7毫秒。它在保持与先进神经排序器相近效果的同时,大幅缩短了延迟,接近传统BM25的速度,为文档检索领域提供了平衡效率与准确性的新方案。

efficient-splade-VI-BT-large-query

efficient-splade-VI-BT-large-query是一款高效的文档检索SPLADE模型。该模型采用查询和文档推理分离架构，在MS MARCO数据集上实现38.0 MRR@10和97.8 R@1000的性能，查询推理延迟仅0.7毫秒。通过L1正则化和FLOPS正则化等技术，模型在保持接近先进单阶段神经排序器性能的同时，将延迟控制在与BM25相近水平，实现了效率与性能的平衡。