dolma - 3万亿令牌的多样化开放数据集与高性能管理工具

Dolma 项目介绍

Dolma 是一个由 Allen AI 研究所开发的项目，旨在推动语言模型训练数据的发展。它主要由两部分组成：Dolma 数据集和Dolma 工具包。

Dolma 数据集

Dolma 数据集是一个公开的数据集，包含了来自多种来源的 3 万亿 tokens。这些来源包括网页内容、学术出版物、代码、书籍以及百科类材料。这份数据集专门为一种名为 OLMo 的语言模型提供训练语料。

Dolma 数据集可以在 HuggingFace 平台进行下载，地址为：huggingface.co/datasets/allenai/dolma。该数据集的使用遵循 ODC-BY 开源数据许可协议，关于许可的更多信息可以参考 Allen AI 的博客文章。

如需详细了解 Dolma 数据集，可以阅读其官方公告以及查看资料表。

Dolma 工具包

Dolma 工具包是一个高性能的工具集，专用于策划和处理大规模数据集，以便为机器学习模型（特别是语言模型）的预训练提供支持。该工具包的主要功能如下：

高性能：得益于内置的并行处理技术，Dolma 工具包能够同时处理数十亿级的文档。
便携性：可以单机运行，也可在集群或云环境中使用。
内置标签器：提供常用的标签器，适用于如 Gopher、C4 和 OpenWebText 等数据集的策划。
快速去重：利用 Rust 编写的布隆过滤器，实现文件的快速去重。
扩展性和云支持：支持自定义标签器及与 AWS S3 兼容的位置。

用户可以通过在终端输入 pip install dolma 来进行安装。

有关 Dolma 工具包的更多使用方法，请访问文档。

Dolma 项目的引用

如果使用了 Dolma 数据集或工具包，请参考以下引用格式：

@article{dolma,
  title = {{Dolma: An Open Corpus of Three Trillion Tokens for Language Model Pretraining Research}},
  author={Luca Soldaini and Rodney Kinney and Akshita Bhagia and Dustin Schwenk and David Atkinson and Russell Authur and Ben Bogin and Khyathi Chandu and Jennifer Dumas and Yanai Elazar and Valentin Hofmann and Ananya Harsh Jha and Sachin Kumar and Li Lucy and Xinxi Lyu and Nathan Lambert and Ian Magnusson and Jacob Morrison and Niklas Muennighoff and Aakanksha Naik and Crystal Nam and Matthew E. Peters and Abhilasha Ravichander and Kyle Richardson and Zejiang Shen and Emma Strubell and Nishant Subramani and Oyvind Tafjord and Pete Walsh and Luke Zettlemoyer and Noah A. Smith and Hannaneh Hajishirzi and Iz Beltagy and Dirk Groeneveld and Jesse Dodge and Kyle Lo},
  year={2024},
  journal={arXiv preprint},
  url={https://arxiv.org/abs/2402.00159}
}

Dolma 项目的推出为语言模型的训练提供了丰富的数据资源与高效的处理工具，这将有助于推动自然语言处理技术的发展。