Project Icon

anserini

开源可复现信息检索研究工具包

Anserini是基于Lucene开发的开源信息检索工具包,致力于推动可复现的学术研究。该工具包提供从索引构建到结果评估的端到端实验支持,实现了BM25、doc2query-T5、SPLADE等多种先进检索模型。Anserini可应用于各类标准IR测试集,有助于缩小信息检索研究与实际搜索应用之间的差距。

distilbert-dot-tas_b-b256-msmarco - 基于平衡主题感知采样的高效密集检索方案
BERT_DotDistilBertGithubHuggingfaceMSMARCO开源项目文本检索模型知识蒸馏
本项目提供了一个基于DistilBERT的密集文本检索模型,采用双编码器结构和点积评分机制。该模型使用平衡主题感知采样(TAS-B)方法在MS MARCO数据集上训练,可用于候选集重排序或直接进行向量索引密集检索。模型在多个测试集上展现出优于BM25基线的检索性能。其特点包括高效训练(单GPU 48小时内完成)和保留原始DistilBERT的6层架构。这一方案为高效密集检索提供了新的解决思路。
annoy - 快速近似最近邻搜索的开源C++库
AnnoyGithub内存映射向量索引开源项目最近邻搜索高维数据
Annoy是一个开源的C++近似最近邻搜索库,支持Python接口。它通过创建只读的文件数据结构和内存映射技术,实现多进程共享索引。支持多种距离度量方式,适合处理中等维度数据。Annoy分离了索引创建和查询过程,可通过静态文件分发索引,在推荐系统等大规模应用中表现出色。其特点是查询速度快、内存占用小、易于分布式部署。
jina-reranker-v1-tiny-en - 快速文本重排序解决方案,支持最长8192个token处理
ALiBiGithubHuggingfaceJina AIreranker开源项目文本分类模型知识蒸馏
jina-reranker-v1-tiny-en在JinaBERT模型基础上通过知识蒸馏技术实现高效文本重排序,支持最长8192个token的处理,适用于高速度需求场景,并确保结果的准确性。提供多种接入方式,包括Jina AI Reranker API、sentence-transformers库及transformers.js等。该模型表现优异,确保搜索结果的相关性和准确性。
ik-analyzer - Maven化中文分词器 支持Lucene 5至9版本
GithubIK-AnalyzerLuceneMaven中文分词开源项目
ik-analyzer是一个Maven化的中文分词器项目,专为中文分词优化词典。该项目支持Lucene 5至9全系列版本,已发布至Maven Central方便集成。除Java实现外,还提供Rust版本,为开发者提供更多选择。
ms-marco-TinyBERT-L-2 - 针对MS Marco段落排序优化的TinyBERT-L-2跨编码器
Cross-EncoderGithubHuggingfaceMS Marco信息检索开源项目机器学习模型自然语言处理
ms-marco-TinyBERT-L-2是一个为MS Marco段落排序任务优化的跨编码器模型。在TREC Deep Learning 2019和MS Marco段落重排任务中,它的NDCG@10和MRR@10分别达到69.84和32.56。模型每秒可处理9000个文档,为信息检索提供高效准确的解决方案。研究人员可通过Transformers或SentenceTransformers库使用该模型进行查询-段落对的相关性评分。
lucenenet - C# 全文搜索库 支持多平台 .NET 开发
GithubLucene.NET全文搜索开源库开源项目搜索索引
Apache Lucene.NET 是 Java Apache Lucene 项目的 C# 移植版,提供强大的全文搜索、索引、拼写检查、结果高亮和分词分析功能。Lucene.NET 4.8 版本兼容 .NET 6.0、.NET Standard 2.1/2.0 和 .NET Framework 4.5+,支持在 Windows、Unix、MacOS、Android 和 iOS 等平台上运行,为开发者提供跨平台的搜索引擎解决方案。
TEXTOIR - 开放式意图识别的综合工具包
GithubTEXTOIR开放集分类开源项目意图识别聚类自然语言处理
TEXTOIR是一个专注于开放式意图检测和发现的综合工具包。它集成了最新算法,提供可扩展接口和统一数据设置,便于研究人员进行公平可复现的实验。该项目支持多个基准数据集,持续更新模型和方法,并配有可视化平台。TEXTOIR致力于推动文本开放意图识别领域的研究进展。
openserp - 开源工具提供主流搜索引擎结果获取API
APICLIDockerGithubOpenSERP开源项目搜索引擎结果
OpenSERP是一款开源工具,为开发者提供Google、Yandex和Baidu等主流搜索引擎的结果获取API和CLI接口。该工具支持Docker部署和命令行使用,可设置语言、日期和文件类型等多种搜索参数。OpenSERP为需要大规模搜索数据的项目提供了一种免费且灵活的解决方案。
ranx - Python高性能排序评估库 适用于信息检索和推荐系统
Githubranx信息检索开源项目推荐系统融合算法评估指标
ranx是一个高性能Python排序评估库,专为信息检索和推荐系统设计。它利用Numba实现快速向量运算和自动并行,提供用户友好的接口进行系统评估和比较。ranx支持统计检验、LaTeX表格导出,以及多种融合算法和归一化策略。此外,ranx还提供自动融合优化功能,并配有预计算运行库ranxhub,方便进行模型比较。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号