达里亚开放数据集

欢迎来到达里亚开放数据集（DODa），这是一个致力于摩洛哥方言的雄心勃勃的开源项目。DODa拥有约15万个条目，可以说是为自然语言处理目的而建立的最大的达里亚 <=> 英语翻译开源协作项目。

事实上，除了语义分类外，DODa还采用了语法分类，以不同的拼写方式呈现单词，提供动词到名词和阳性到阴性的对应关系，包含数百个动词在不同时态下的变位，以及超过86,000个翻译句子。

此外，DODa考虑到在不同场合使用的达里亚拼写的多样性，使其成为语言爱好者和自然语言处理从业者的多功能资源。数据集包括用拉丁字母和阿拉伯字母书写的条目，反映了不同来源和应用中的语言变体和偏好。

我们的主要目标是将DODa建立为达里亚自然语言处理的首选参考。通过提供一个强大而多样化的数据集，我们旨在促进能够满足摩洛哥社区特定语言需求的自然语言处理应用程序的开发。

虽然我们在编译和组织数据集方面取得了重大进展，但需要注意的是，数据集的部分内容仍在审查或进行中，尤其是在sentences.csv文件中。我们欢迎摩洛哥IT社区的贡献，帮助我们进一步完善和扩展数据集，确保其准确性和完整性。让我们共同为针对摩洛哥文化和语言的未来自然语言处理创新奠定强大的基础。

观看这个关于DODa的介绍视频。

如何贡献

你可以直接进入AtlasIA界面开始贡献🔥🔥。

否则，如果你更喜欢使用开发工具，我们为你制作了一个详细视频，介绍如何贡献。

太长不看版：

前往Issues
选择一个并评论以将其分配给你
Fork 数据集仓库
在与你被分配的问题相对应的文件中翻译和修复错别字
开启一个Pull Request

感谢你的贡献！！！

指南 / 建议

3ndk ح dir ح xD（向这位致敬 😆），经常尝试使用：

达里亚	3	7	9	8	2 - 'a' - 'i'	5 - 'kh'
阿拉伯语	ع	ح	ق	ه	همزة	خ

尝试使用大写字母来区分以下字母：

t	T	s	S	d	D
ت	ط	س	ص	د	ض

对应两个拉丁字母的阿拉伯字符：

阿拉伯字母	ش	غ	خ
拉丁字母	ch	gh	kh

双字符表示强调或"الشدة"：

达里亚	7mam	7mmam
英语	pigeons	bathroom

我们通常不在达里亚词的末尾加"e"：使用louz而不是louze
我们通常不使用"Z"或"th"来表示 ظ ، ذ ، ث，因为我们在达里亚语中一般不使用这些字母（除了在摩洛哥北部，但为了简单起见，我们主要关注标准达里亚语）
使用逗号时，不要忘记用引号将表达式括起来（因为我们使用csv文件）
我们使用空格作为单词分隔符，而不是_或-：使用thank you而不是thank_you
在添加的每一行中，请遵守列数，如果没有额外的变体，可以使用空引号""或只是空占位符

"sou9","souk","","سوق","market"

sou9,souk,,مارشي,market

在每一行中，总是以你认为最常用的形式开始相关单词
为了今后使用此数据集，尽量保留每行相似词的变体。例如，"sou9"和"marchi"都翻译为"market"，但最好将它们分成两行不同的条目：

sou9,souk,souq,سوق,market

marchi,,,مارشي,market

verbs.csv：摩洛哥方言翻译保留为第三人称"他"的过去时态，而其他人称和时态则在单独的文件中处理。英语翻译呈现英语动词的基本形式（或词根）。

ghnna,ghenna,ghanna,,,,غنّا,sing

masculine_feminine_plural.csv：如果存在，阴性复数翻译列用于名词。对于形容词，阴性复数等同于阴性。

PyDODa - DODa的Python封装

Pydoda是一个全面的Python库，简化了对DODa数据集的访问和分析。它为研究人员、开发者和语言爱好者提供了直观的接口，用于访问各种数据集类别、检索拼写和翻译，从而实现轻松探索语言内容。

将Pydoda集成到您的Python工作流程中，可以访问广泛的功能，便于从DODa数据集中提取见解，包括语义和句法分析、翻译检索、拼写变体探索等。

使用示例

可以使用pip轻松安装Pydoda：

pip install pydoda

以下是一个简短的代码示例：

from pydoda import Category

# 创建Category的实例
my_category = Category('semantic', 'animals')

# 获取一个词的摩洛哥方言翻译
darija_translation = my_category.get_darija_translation('dog')
print(darija_translation)
# 输出：klb

# 获取一个词的英语翻译
english_translation = my_category.get_english_translation('mch')
print(english_translation)
# 输出：'cat'

更多详情，请访问Pydoda官方GitHub仓库和Pydoda官方文档。

使用条款

研究和个人使用：欢迎您根据开源许可证的条款，免费使用DODa进行研究、个人项目和教育目的。
商业使用：对于商业目的或任何其他不在开源许可证涵盖范围内的使用，请联系版权持有人Aissam或Hamza讨论许可选项和权限。

引用

@misc{outchakoucht2024evolution,
      title={The Evolution of Darija Open Dataset: Introducing Version 2}, 
      author={Aissam Outchakoucht and Hamza Es-Samaali},
      year={2024},
      eprint={2405.13016},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{outchakoucht2021moroccan,
      title={Moroccan Dialect -Darija- Open Dataset},
      author={Aissam Outchakoucht and Hamza Es-Samaali},
      year={2021},
      eprint={2103.09687},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

dataset