Project Icon

stark

大规模半结构化检索基准,推动LLM性能提升

STaRK提供一个大规模的半结构化检索基准,涵盖产品搜索、学术论文检索和生物医学查询,旨在评估和提升LLM在文本与关系型知识库中的检索效果。该基准含有多样化和现实的查询,要求上下文相关推理,为未来研究提供有力支持。STaRK已在Hugging Face平台发布,并可以通过pip包直接加载,支持用户互动查询的探索性界面。更多详情请访问官方网站。

colbertv2.0 - 基于BERT的大规模文本快速检索模型
ColBERTGithubHuggingface向量检索开源项目搜索模型模型深度学习自然语言处理
ColBERT v2是一个开源的文本检索模型,基于BERT架构,采用细粒度上下文后期交互技术。它能在毫秒级内对大规模文本集合进行快速准确的搜索,同时保持高质量检索结果。该模型支持索引构建、检索搜索和模型训练等功能,并提供预训练模型和Python API。ColBERT v2在GitHub上持续更新,适用于需要高效文本检索的应用场景。
BIG-bench - 评估大型语言模型能力的开放基准
BIG-benchGithub任务创建基准测试开源项目模型评估语言模型
BIG-bench是一个开放的基准测试项目,致力于评估大型语言模型的能力并预测其未来发展。该项目包含200多个多样化任务,涉及算术、推理等多个领域。研究人员可通过JSON或编程方式贡献新任务,并利用公开模型进行评估。BIG-bench Lite作为24个精选任务的子集,提供了高效的模型性能评估方法。这一平台为深入研究语言模型能力提供了宝贵资源。
ChatKBQA - 知识库问答的生成,检索框架
GithubKBQALLM开源项目知识库问答知识检索语义解析
ChatKBQA是一个创新的知识库问答框架,采用生成-检索方法。该框架首先利用微调的大语言模型生成逻辑形式,再通过无监督检索替换实体和关系,有效提升了生成和检索效果。ChatKBQA解决了知识检索效率、错误传播和方法复杂性等问题,在WebQSP和CWQ基准测试中展现出优异性能。
starpii - 基于NER模型的代码数据集个人信息检测工具
GithubHuggingfacePII检测StarPII代码数据集开源项目标记化分类模型隐私保护
StarPII是一个基于NER模型的代码数据集个人信息检测工具。通过微调bigcode-encoder,该模型能准确识别代码中的姓名、邮箱、密钥等六类敏感信息。模型在包含20961个密钥和31种编程语言的数据集上训练,并利用伪标签数据预训练提升性能。StarPII为代码数据隐私保护、PII清理和隐私合规提供了可靠的技术支持。
miracl - 跨18语言的多语言信息检索数据集
GithubMIRACL基准测试多语言信息检索开源项目维基百科语料库跨语言搜索
MIRACL项目提供了一个跨18种语言的多语言信息检索数据集,涵盖全球超过30亿母语使用者。该数据集包含16种已知语言的Wikipedia语料库,并提供相应的训练和开发数据。项目还包括基于BM25和mDPR的基线系统,以及使用Pyserini复现结果的指南。这一资源为多语言信息检索研究提供了有价值的支持。
v3_1_pt_ep1_sft_5_based_on_llama3_1_8b_final_data_20241019 - 探索先进的自然语言处理开源模型及其实际应用
GithubHuggingfacetransformers开源项目模型模型卡环境影响训练细节语言模型
了解先进自然语言处理开源模型的信息,包括用途、评估方法及风险提示。虽然详细信息未完全披露,但以上内容可为开发和应用提供重要参考。
distilbert-dot-tas_b-b256-msmarco - 基于平衡主题感知采样的高效密集检索方案
BERT_DotDistilBertGithubHuggingfaceMSMARCO开源项目文本检索模型知识蒸馏
本项目提供了一个基于DistilBERT的密集文本检索模型,采用双编码器结构和点积评分机制。该模型使用平衡主题感知采样(TAS-B)方法在MS MARCO数据集上训练,可用于候选集重排序或直接进行向量索引密集检索。模型在多个测试集上展现出优于BM25基线的检索性能。其特点包括高效训练(单GPU 48小时内完成)和保留原始DistilBERT的6层架构。这一方案为高效密集检索提供了新的解决思路。
LLM4IR-Survey - 大语言模型在信息检索领域的应用研究综述
GithubLLM信息检索开源项目查询重写检索器重排序
LLM4IR-Survey项目汇集了大语言模型在信息检索领域应用的相关研究论文。项目涵盖查询重写、检索、重排序、阅读理解和搜索代理等方向,全面展示大语言模型在信息检索各环节的应用。 该资源持续更新,反映最新研究进展和创新应用,为该领域的研究人员和从业者提供重要参考。
starcoder2 - 先进的多语言代码生成模型家族
GithubStarCoder 2代码生成模型大规模语言模型开源项目机器学习自然语言处理
StarCoder2是一系列代码生成模型,包括3B、7B和15B参数规模。模型在600多种编程语言和自然语言文本上训练,使用分组查询注意力机制,具有16,384个token的上下文窗口。支持代码补全、多GPU部署和量化推理,提供使用说明和微调指南。StarCoder2在代码生成任务中表现优异,是开发者的有力工具。
primeqa - PrimeQA:多语言问答系统的开源研究和开发平台
GithubPrimeQA信息检索多语言问答开源项目机器阅读理解问题生成
PrimeQA是一个开源平台,帮助研究人员和开发人员训练先进的问答模型。用户可以在PrimeQA上复制NLP会议中的实验,下载预训练模型并应用于自定义数据。该平台支持信息检索、多语言阅读理解、问题生成及检索增强的生成技术。PrimeQA在多个排行榜中名列前茅,整合Transformers工具包以提供强大的问答功能,满足领先的研究和开发需求。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号