Project Icon

opensearch-neural-sparse-encoding-v1

跨平台高效搜索的稀疏检索模型

此开源项目展示了一个学习型稀疏检索模型,通过将查询和文档编码为稀疏向量,提供高效的搜索解决方案。模型在MS MARCO数据集上进行训练,并在BEIR基准测试中展示了优良的搜索相关性与推理速度。支持OpenSearch神经稀疏功能,能与Lucene倒排索引结合,进行高效的索引与搜索。该项目提供多个模型版本,适应不同的数据集与应用需求。使用者能在OpenSearch集群内或通过HuggingFace模型API进行模型的外部运行。

ModelCache - 优化大型语言模型响应的语义缓存工具
Codefuse-ModelCacheGithub多租户大语言模型嵌入模型开源项目语义缓存
ModelCache 是一种优化大型语言模型(LLMs)响应的语义缓存工具,通过缓存预计算的模型结果,迅速响应相似请求,提升用户体验。它支持多租户,并通过 Redis Search 将缓存与向量数据库的交互时间减至 10ms。该项目整合了多种嵌入框架及本地存储选项如 sqlite 和 faiss,便于用户迅速测试。其目标是降低推理部署成本、提升模型性能和提供可扩展的大型模型服务。
Quest - 长文本LLM推理的查询感知稀疏化框架
GithubKV缓存Quest开源项目注意力机制稀疏性长上下文LLM推理
Quest是一个创新的长文本LLM推理框架,通过在KV缓存中应用查询感知稀疏化技术,显著减少了注意力计算中的内存移动。该框架跟踪缓存页面的Key值范围,并利用Query向量评估页面重要性,仅加载最关键的KV缓存页面。实验表明,Quest可将自注意力计算速度提升至7.03倍,推理延迟降低2.23倍,同时在长依赖任务中保持高精度。
cocodr-base-msmarco - 零样本文本检索与分布鲁棒学习模型
BEIRCOCO-DRGithubHuggingface向量相似度开源项目模型模型预训练自然语言处理
COCODR是一个基于BERT-base架构的文本检索模型,通过BEIR语料库预训练和MS MARCO数据集微调而成。模型采用对比学习和分布鲁棒学习方法,解决零样本密集检索中的分布偏移问题。借助HuggingFace transformers框架,模型可用于文本嵌入和相似度计算。
msmarco-t5-base-v1 - 基于T5的文档扩展和查询生成模型
GithubHuggingfaceT5doc2query嵌入模型训练开源项目文本生成文档扩展模型
msmarco-t5-base-v1是一个基于T5的doc2query模型,主要用于文档扩展和特定领域训练数据生成。该模型通过生成相关查询,有效缩小词汇搜索的差距,提升BM25等标准索引的检索性能。此外,它能生成(查询,文本)对,用于训练高效的密集嵌入模型。该模型以google/t5-v1_1-base为基础进行微调,在MS MARCO数据集上完成了约4轮训练。
photo-similarity-search - CLIP模型照片相似性搜索引擎
Apple SiliconCLIP模型Embed-PhotosGithub图像搜索开源项目相似图片
Embed-Photos是一个高效的照片相似性搜索引擎,利用CLIP模型根据文本描述寻找视觉相似的图像。该项目仅支持Apple Silicon平台,使用SQLite和Chroma实现图像嵌入的持久存储,提供便捷的网络接口以便用户进行交互和探索。其特点包括安全的图像处理、性能监控和可配置的设置,用户只需简单设置环境变量即可启动使用。
multi-qa-mpnet-base-dot-v1 - 基于大规模数据训练的语义搜索嵌入模型
GithubHuggingfacesentence-transformers向量嵌入开源项目模型自然语言处理语义搜索问答系统
multi-qa-mpnet-base-dot-v1是一个基于sentence-transformers的语义搜索模型。它将句子和段落映射到768维向量空间,在2.15亿多样化的(问题,答案)对上训练而成。该模型采用CLS池化和点积评分,适用于广泛的语义搜索应用。其简洁的API设计便于集成,能够为各类项目提供高效的语义搜索功能。
DeepSeek-MoE - 创新MoE架构打造高效大规模语言模型
DeepSeekMoEGithubMoE架构大语言模型开源模型开源项目模型评估
DeepSeek-MoE项目开发了创新的混合专家架构语言模型,采用细粒度专家分割和共享专家隔离策略。该16.4B参数模型仅使用40%计算量就达到DeepSeek 7B和LLaMA2 7B的性能水平。模型可在单个40GB内存GPU上直接部署运行,无需量化,为学术和商业研究提供了高效便捷的工具。
DeepSeek-Coder-V2-Instruct - 高性能开源MoE代码语言模型支持338种编程语言
AI编程DeepSeek-Coder-V2GithubHuggingface大型语言模型开源模型开源项目模型混合专家模型
DeepSeek-Coder-V2是一个开源的MoE代码语言模型,通过6万亿token的额外预训练,大幅提升了编码和数学推理能力。该模型支持338种编程语言,具有128K的上下文长度,在多项标准基准测试中表现优异。DeepSeek-Coder-V2不仅在代码相关任务中媲美GPT4-Turbo,还在某些方面超越了多个知名闭源模型。
mxbai-rerank-base-v1 - 跨语言重排序模型提升搜索结果相关性
GithubHuggingfacetransformers人工智能开源项目机器学习模型深度学习自然语言处理
mxbai-rerank-base-v1是一个基于transformers库开发的跨语言重排序模型。该模型支持多语言处理,可在transformers.js中使用,有助于提升搜索结果的相关性。模型采用Apache-2.0开源协议发布,适用于搜索引擎、推荐系统和问答系统等场景,能够优化排序结果。
ms-marco-electra-base - ELECTRA跨编码器模型提升MS Marco信息检索效率
Cross-EncoderGithubHuggingfaceMS Marco信息检索开源项目模型模型性能自然语言处理
该模型是基于ELECTRA架构的跨编码器,专为MS Marco段落排序任务设计。其主要功能是高效编码查询和段落,用于信息检索的检索和重排序。模型在TREC Deep Learning 2019数据集上达到71.99的NDCG@10分数,MS Marco开发集上MRR@10为36.41,处理速度为每秒340文档。这些指标显示该模型在性能和效率方面达到了良好平衡。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号