Project Icon

MS-MARCO-Web-Search

大规模网络数据集推动搜索与机器学习研究进展

MS-MARCO-Web-Search是一个基于ClueWeb22的大规模网络数据集,包含数百万真实查询点击标签。它提供丰富的文本、视觉和语义信息,设置了嵌入模型、嵌入检索和端到端检索三个挑战任务。该数据集旨在推动机器学习和信息检索系统研究,并验证方法在大规模数据上的有效性。

DeepSeek-VL - 高性能开源视觉语言模型 多模态理解与复杂场景应用
DeepSeek-VLGithub人工智能多模态理解开源开源项目视觉语言模型
DeepSeek-VL是一个开源视觉语言模型,为实际应用场景而设计。它能处理逻辑图表、网页、公式、科学文献、自然图像等,并在复杂场景中展现智能。模型提供1.3B和7B两种参数规模,支持基础和对话应用,可用于学术研究和商业用途。DeepSeek-VL采用MIT许可证,为研究人员和开发者提供了强大的视觉语言处理工具。
CLUE - 中文语言理解测评数据集与基准模型排行榜
CLUE benchmarkGithubPaddlePaddle中文语言理解开源项目排行榜深度学习框架
CLUE基准提供全面的中文语言理解数据集、预训练模型、语料库和定期更新的排行榜。涵盖多种任务和难度,支持PaddlePaddle等深度学习框架。通过测试和对比不同模型的表现,推动中文自然语言处理技术的发展。
llm_benchmarks - 大语言模型评估基准集合
GithubLLM人工智能开源项目机器学习自然语言处理语言理解
llm_benchmarks是一个全面的大语言模型评估基准集合,涵盖知识理解、推理能力、多轮对话和内容摘要等方面。该项目包含MMLU、ARC、GLUE等知名数据集,用于测试模型在不同任务中的表现。这一标准化工具为评估大语言模型性能提供了可靠依据,有助于相关技术的发展与应用。
S-PubMedBert-MS-MARCO - 医疗文本信息检索专用BERT模型
GithubHuggingfaceMS-MARCOPubMedBERTsentence-transformers医疗文本处理开源项目模型语义搜索
S-PubMedBert-MS-MARCO是一个针对医疗和健康文本领域优化的信息检索模型。它基于PubMedBERT,并通过MS-MARCO数据集微调,可将文本映射为768维向量。该模型适用于语义搜索和文本聚类,支持Sentence-Transformers和HuggingFace Transformers框架,为医疗文本分析提供了有效工具。
marquez - 数据生态系统元数据的收集、聚合和可视化
GithubMarquezOpenLineage元数据服务开源项目数据谱系
Marquez是一个开源元数据服务项目,专注于数据生态系统的元数据处理。该项目提供数据集消费和生产的溯源、作业运行时间和数据集访问频率的可视化,以及数据集生命周期的集中管理。作为LF AI & Data Foundation的毕业项目,Marquez集成了OpenLineage,简化了数据集、作业和运行元数据的收集与查看过程,有助于探索数据依赖关系并优化元数据管理。
MINT-1T - 万亿级开源多模态数据集推动AI研究
GithubMINT-1T图文数据多模态数据集开源数据开源项目海量数据
MINT-1T是一个大规模开源多模态数据集,包含1万亿文本标记和34亿张图像,比现有开源数据集规模扩大约10倍。该数据集首次纳入PDF和ArXiv论文等新数据源,提供HTML、PDF和ArXiv等多个子集。MINT-1T旨在为大规模多模态AI模型研究提供丰富的训练资源,其规模和多样性有望促进多模态AI技术的发展。
MixEval - 动态更新的大语言模型评测基准
GithubLLM评估MixEval动态评估基准测试开源项目模型排名
MixEval是一个动态更新的大语言模型评测基准,结合现有基准和真实用户查询构建而成。该基准在保持高准确度的同时,实现了快速、低成本和可重复的评测。MixEval提供更全面、公平的查询分布,并通过定期更新机制避免数据污染。作为一个高效可靠的评测工具,MixEval适用于各类大语言模型研究和应用场景。
data-selection-survey - 全面探索语言模型数据选择的关键技术
GithubWeb数据多语言开源项目数据选择语言模型预训练
这个项目全面梳理了语言模型数据选择的各个环节,涵盖预训练、指令微调和偏好对齐等阶段。内容包括语言过滤、启发式方法、数据质量评估和去重等核心技术,还探讨了多语言和特定领域模型的专门选择策略。项目汇集了众多相关研究文献,为语言模型开发提供了系统的参考资源。
Awesome-LLMs-Datasets - 完整收录大型语言模型数据集的多维度分类概览
GithubLLMs数据集大语言模型开源项目指令微调数据集评估数据集预训练语料库
这个项目全面收集和分类了大型语言模型(LLM)数据集,包括预训练语料库、指令微调数据集、偏好数据集、评估数据集和传统NLP数据集五大类别。新增的内容涵盖多模态大语言模型数据集和检索增强生成数据集。项目统计了444个数据集的详细信息,覆盖8种语言和32个领域,为LLM研究提供了全面参考资源。
multi-qa-distilbert-cos-v1 - 基于215M问答对训练的高性能语义搜索模型
GithubHuggingfacesentence-transformers多任务学习开源项目模型自然语言处理语义搜索问答系统
multi-qa-distilbert-cos-v1是一个基于sentence-transformers的语义搜索模型,能将文本映射到768维向量空间。该模型利用WikiAnswers、PAQ和Stack Exchange等多个数据集中的215M个问答对进行训练,可高效编码查询和文档并计算相似度。这使其成为实现准确语义搜索的理想选择,适用于各类信息检索任务。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号