Project Icon

ir_datasets

统一信息检索数据集接口的Python工具

ir_datasets是一个Python工具包,为信息检索领域的多种数据集提供统一接口。它可自动下载和处理公开数据集,并为非公开数据集提供获取指南。该工具支持Python和命令行使用,能处理大规模数据集,并修正已知问题。通过快速随机文档访问和灵活迭代切片等功能,ir_datasets简化了信息检索研究中的数据处理流程。

nltk_data - 简便的数据下载方式,助力自然语言处理任务
GithubNLTK下载器使用说明安装开源项目数据分布
NLTK数据分发包提供简单的下载途径和详细的使用指南,轻松实现自然语言处理任务的数据分发。更多信息请访问项目官网。
datasette - 开源数据探索与发布工具 支持多种格式
DatasetteGithubSQLite开源工具开源项目数据发布数据探索
Datasette是一个开源的数据探索和发布工具,可处理各种类型和规模的数据,将其转换为交互式网站和API。该工具适合数据记者、博物馆工作者、档案管理员、政府机构、科研人员等需要共享数据的群体使用。Datasette支持Homebrew和pip等多种安装方式,提供简单的命令行操作进行数据服务和发布。此外,它还允许配置元数据,包括许可证和来源信息,提高数据的可靠性和可溯源性。
TEXTOIR - 开放式意图识别的综合工具包
GithubTEXTOIR开放集分类开源项目意图识别聚类自然语言处理
TEXTOIR是一个专注于开放式意图检测和发现的综合工具包。它集成了最新算法,提供可扩展接口和统一数据设置,便于研究人员进行公平可复现的实验。该项目支持多个基准数据集,持续更新模型和方法,并配有可视化平台。TEXTOIR致力于推动文本开放意图识别领域的研究进展。
awesome-public-datasets - 多领域高质量公共数据集资源汇总
Github基因组学开源数据集开源项目微阵列数据生物学蛋白质数据库
Awesome Public Datasets汇集了农业、生物学、计算机科学等多个领域的高质量公共数据集。该项目源于上海交通大学OMNILab,现隶属于BaiYuLan开放AI社区。它为研究人员和数据科学家提供了便捷获取开放数据资源的途径,支持各类分析和研究工作。资源列表涵盖广泛,质量可靠,是数据科学工作的重要参考。
iresearch - 高性能独立搜索引擎库
GithubIResearch开源项目搜索引擎文档查询索引
iresearch是一个独立搜索引擎库,提供索引和存储功能。支持多版本数据管理和并发读写,通过writer接口索引,reader接口查询。查询使用树状结构,支持自定义排序插件。由多个独立段组成,包含元数据、字段信息、词典、倒排索引等。提供灵活的文档和字段抽象,以及目录、写入器、读取器等核心组件。采用C++开发,支持多种编译器,并有Python封装。
google-research - 多项目代码和数据集共享平台
GitHubGithubGoogle Research代码库开源项目数据集许可证
Google Research提供多种项目的代码和数据集,数据集在CC BY 4.0国际许可下发布,源码文件在Apache 2.0许可下发布。用户可通过GitHub编辑器下载所需子目录,并进行浅克隆以提交拉取请求。库内容持续更新,最新更新时间为2023年。
Awesome-LLMs-Datasets - 完整收录大型语言模型数据集的多维度分类概览
GithubLLMs数据集大语言模型开源项目指令微调数据集评估数据集预训练语料库
这个项目全面收集和分类了大型语言模型(LLM)数据集,包括预训练语料库、指令微调数据集、偏好数据集、评估数据集和传统NLP数据集五大类别。新增的内容涵盖多模态大语言模型数据集和检索增强生成数据集。项目统计了444个数据集的详细信息,覆盖8种语言和32个领域,为LLM研究提供了全面参考资源。
miracl - 跨18语言的多语言信息检索数据集
GithubMIRACL基准测试多语言信息检索开源项目维基百科语料库跨语言搜索
MIRACL项目提供了一个跨18种语言的多语言信息检索数据集,涵盖全球超过30亿母语使用者。该数据集包含16种已知语言的Wikipedia语料库,并提供相应的训练和开发数据。项目还包括基于BM25和mDPR的基线系统,以及使用Pyserini复现结果的指南。这一资源为多语言信息检索研究提供了有价值的支持。
ibis - 统一 Python 数据框架 API 实现多后端数据分析
GithubIbisPythonSQL开源项目数据分析数据框架库
Ibis 是一个 Python 数据框架库,支持 20 多种后端。它提供统一 API,适用于本地和远程数据分析。Ibis 具有惰性计算、交互式探索功能,支持 Python 和 SQL 代码混合使用。通过修改单行代码即可切换不同后端,提高了数据分析的可移植性。
UER-py - 自然语言处理的开源预训练工具包
BERTGithubNLP任务UER-py开源项目模型微调预训练模型
UER-py是一个为自然语言处理任务设计的预训练和微调工具包,支持多种预训练模型以优化下游任务表现。项目强调模块化设计,并提供可扩展接口,支持单GPU及多GPU配置。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号