Logo
Project Icon

dataset

摩洛哥方言Darija与英语双语开源数据集DODa

DarijaDODa开源数据集摩洛哥方言自然语言处理Github开源项目

Darija Open Dataset (DODa)是一个专注于摩洛哥方言的开源项目，包含约15万条条目。该数据集提供语义和语法分类、多种拼写形式、词形变化以及大量翻译句子。DODa采用拉丁字母和阿拉伯字母，反映了Darija拼写的多样性，为自然语言处理应用提供了丰富资源。项目目标是成为Darija NLP的重要参考，并鼓励社区贡献。

访问官网访问官网GithubGithubHuggingfaceHuggingface论文论文
介绍相关项目
dolma - 3万亿令牌的多样化开放数据集与高性能管理工具
AI2Dolma DatasetDolma ToolkitGithub开源项目数据集管理语言模型
Dolma项目提供一个包含3万亿令牌的多样化开放数据集，涵盖网络内容、学术出版物、代码、书籍和百科材料。Dolma Toolkit是一款高性能工具包，能够高效整理大型数据集，支持并行处理、便捷移植、内置标签器、快速去重、扩展性和云支持。该项目由Allen Institute for AI开发，数据集可在HuggingFace平台下载。
RedPajama-Data - 开放大规模多语言数据集助力大型语言模型训练
GithubRedPajama-Data-v2大语言模型开放数据集开源项目数据质量自然语言处理
RedPajama-Data-v2是一个包含30万亿tokens的开放数据集，用于训练大型语言模型。该数据集涵盖了超过100B的文本文档，来源于84个CommonCrawl快照。它包含英语、德语、法语、意大利语和西班牙语5种语言的内容，并提供多种质量信号和去重处理。项目提供完整的数据处理流程，包括准备工件、计算质量信号和去重等步骤，为语言模型研究提供高质量的大规模语料资源。
llm-datasets - LLM微调优质数据集与工具资源库
GithubLLM对话开源项目微调指令跟随数据集
LLM Datasets项目汇集了大语言模型微调所需的优质数据集、实用工具和核心概念。涵盖通用、数学逻辑、编程和对话等多个领域，项目详细阐述了高质量数据集的特征。为研究人员和开发者提供多样化的LLM微调数据资源，旨在促进模型性能提升。
speech_dataset - 多语言语音识别与合成数据集详细介绍及应用
Github多人语音识别开源开源项目数据集语音合成语音识别
此页面总结了多语言语音数据集，包括中文、英文、日语、韩语、俄语等。涵盖了语音识别、语音合成、说话人识别和分离等应用领域，详细描述了每个数据集的时长、下载地址及其具体用途，帮助用户快速找到符合科研或项目需求的语音数据。
OCR_DataSet - 综合OCR数据集资源库及工具集
Github图像标注开源项目数据集文字识别深度学习计算机视觉
OCR_DataSet项目整合了13个知名的多语言OCR数据集，涵盖ICDAR2015、MLT2019和COCO-Text_v2等。项目特色包括数据格式统一化、便捷的百度网盘下载、详尽的数据集信息表和简化的读取脚本。此外，项目还提供了数据生成工具链接，为OCR领域的研究和开发工作提供了全面的资源支持。
LLMDataHub - 大语言模型训练数据集合
GithubLLMDataHub大语言模型开源社区开源项目数据集聊天机器人
LLMDataHub汇聚高品质大语言模型训练数据，为研究人员和从业者提供丰富的数据资源。该平台涵盖多种数据集，适合提升聊天机器人对话质量、应答生成及语言理解。同时，平台更新最新数据集，助您获取行业前沿资源。
hatespeechdata - 多语言仇恨言论数据集汇总与研究资源
Github仇恨言论在线辱骂多语言开源项目数据集社交媒体
该项目汇集了涵盖多种语言的仇恨言论、在线辱骂和攻击性语言数据集。收录内容包括来自不同平台的文本、图像和音频数据。项目旨在为自然语言处理系统提供训练资源，以提升有害内容检测能力。此外，项目还提供关键词列表和贡献指南，为研究人员和开发者改进在线内容审核和仇恨言论检测技术提供支持。
audio-dataset - LAION音频数据集收集与处理开源计划
CLAPGithubLAIONwebdataset开源项目音频数据集
LAION发起的Audio Dataset Project致力于收集和处理大规模音频-文本对数据集。项目团队由Mila和UCSD的研究人员及全球贡献者组成，专注于数据收集、标准化处理和webdataset格式存储。该项目为CLAP等模型训练提供数据支持，并设有完善的贡献指南和进度跟踪系统，欢迎更多贡献者参与。
dziribert - 突破性阿尔及利亚方言自然语言处理工具
DziriBERTGithubHuggingface开源项目模型自然语言处理语言模型阿尔及利亚方言预训练模型
DziriBERT是首个专门为阿尔及利亚方言开发的Transformer语言模型。该模型能同时处理阿拉伯文和拉丁文字符的阿尔及利亚文本，在仅使用约100万条推文进行预训练的情况下，就在阿尔及利亚文本分类任务中创下新纪录。DziriBERT支持掩码语言建模，适用于多种自然语言处理任务。但值得注意的是，由于预训练数据源自社交媒体，模型可能会在某些情况下生成不当词语，使用时需根据具体应用进行筛选。
OLMo-1B-0724-hf - Dolma数据集驱动的英语语言模型在性能上的进步
DolmaGithubHuggingfaceOLMo开源项目机器学习模型训练数据语言模型
OLMo 1B July 2024版本采用Dolma数据集，显著提高了HellaSwag等任务的评估表现。兼容HuggingFace Transformers v4.40及以上版本，由Allen Institute for AI开发，提供完整的代码、检查点及训练日志，支持实现文本生成与模型微调。在ARC挑战、BoolQ和HellaSwag等自然语言处理任务中表现出色，适用于研究人员和开发者在语言模型科学领域的进一步探索。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号