RedPajama-Data-v2：一个包含30万亿个标记的开放数据集，用于训练大型语言模型

本仓库包含RedPajama-V2数据集的代码。有关该数据集的更多信息，请查看我们的博客文章。该数据集也可在HuggingFace上获取。关于RedPajama-1T数据集使用的代码，请参考本仓库的rp_v1分支。

数据集

RedPajama-V2是一个用于训练大型语言模型的开放数据集。该数据集包含来自84个CommonCrawl快照的超过1000亿个文本文档，使用CCNet管道进行处理。其中，语料库中有300亿个文档附带质量信号，200亿个文档经过了去重处理。

数据集带注释和去重的head_middle部分的文档和标记数量

下表显示了数据集带注释和去重的head_middle部分的文档数量和标记数量。

语言

英语、德语、法语、意大利语、西班牙语

设置

配置

将configs/rp_v2.0.conf文件复制到如configs/default.conf，并配置环境变量。这些变量将在整个管道中使用。

构建Docker镜像

要使用docker运行，请使用以下命令构建docker镜像：

. configs/default.conf
cd app
docker build -t "${DOCKER_REPO}:" .

另外，请确保您已安装s5cmd并配置了S3配置文件，以便从S3存储桶拉取数据。

您可以在非容器化环境中运行管道的各个步骤。但是，运行脚本假定您已安装docker和apptainer。

运行管道

该管道由三个步骤组成，分别是1）准备制品，2）计算质量信号，以及3）去重。

**重要提示：**如果您不使用提供的脚本（即使用提供的Dockerfile构建的docker容器）运行步骤（1）和（2），请确保使用以下命令将PYTHONHASHSEED环境变量设置为一个一致的值（例如42）：

export PYTHONHASHSEED=42

这是为了确保用于计算DSIR权重的哈希函数的一致性。

1. 创建制品

管道的这一部分创建后续步骤中使用的制品。这包括构建质量分类器、训练用于重要性权重计算的n-gram生成模型、从LDNOOBW仓库获取不良词列表，以及从UT1黑名单获取最新的黑名单URL列表。

首先，从这里下载英语维基百科参考分类器，并将其放在${DATA_ROOT}/wikiref-model/en/en-model.bin中。这与RedPajama-V1中使用的fasttext分类器相同。

要创建其余制品，请确保在配置文件中设置了环境变量。然后，从仓库的根目录运行：

bash scripts/run_prep_artifacts.sh \
  --config configs/rp_v2.0.conf \
  --listings /path/to/listings/file.txt\
  --max_workers 32

其中/path/to/listings/file.txt是包含要处理的ccnet数据键的文件（例如2023-06/0000/en_head.json.gz）。

您可以将max_workers标志设置为要使用的并行进程数。

此步骤将生成一个ID，您可以将其存储在环境变量ARTIFACTS_ID中，以供下一步使用。

2. 计算质量信号

管道的第二步计算质量信号，包括用于后续步骤中进行模糊去重的最小哈希签名。要运行此步骤，请确保在配置文件中设置了环境变量。然后，从仓库的根目录运行：

bash scripts/apptainer_run_quality_signals.sh \
  --config configs/rp_v2.0.conf \
  --dump_id "2022-49" \
  --input_base_uri "file:///path/to/data/root" \
  --output_base_uri "file:///path/to/outout/data/root" \
  --max_docs -1

3. 去重

管道的第三个组件包括去重步骤。这里我们提供代码来运行精确和模糊去重。

使用布隆过滤器进行精确去重

基于内容的去重在app/src/bloomfilter.py中实现。它可以独立于前一步骤运行，但数据需要存储在S3存储桶中。对于这一步骤，从app目录运行：

python3 app/src/bloomfilter.py \
  --listings /path/to/listings/file.txt \
  --input_base_uri "s3://path/to/ccnet/data" \
  --output_dir "/path/to/output" \
  --s3_profile "..." \
  --endpoint_url "..." \
  --parallel_readers 32 \
  --batch_size 10 \
  --capacity "..." \
  --error_rate "..."

选择正确的容量（即>文档数）很重要，否则无法保证error_rate，并且会出现更多假阳性。该实现基于pybloomfiltermmap3库。

使用局部敏感哈希进行模糊去重

在管道的第三步中，我们对第一步生成的最小哈希签名运行局部敏感哈希。要运行此步骤，请确保使用与质量信号步骤相同的配置。然后，从仓库的根目录运行：

bash scripts/apptainer_run_lsh.sh \
  --config configs/rp_v2.0.conf \
  --dump_id "2022-49" \
  --input_base_uri "file:///path/to/data/root" \
  --output_dir "/path/to/output" \
  --similarity "<similarity_threshold>" \
  --listings "/minhash/listings/file.txt" \
  --max_docs -1

该实现基于polars，并已在一台具有500G RAM的64核机器上使用2亿个文档进行了测试。

质量信号摘要

管道的第二步计算以下一组质量信号。我们希望随着更多信号的开发，这个列表会随时间不断增长。

质量注释

致谢

我们感谢众多合作伙伴和协作者，他们共同推动了开放大语言模型的前沿发展。

• 感谢AI2的OLMo团队和OpenGPT-X的朋友们就数据集和数据质量进行的富有洞察力的讨论！同时也感谢所有基于RedPajama数据集进行开发的人，包括Cerebras的SlimPajama项目，以及开源AI社区迄今为止基于RedPajama构建的500多个模型。
• 我们感谢EleutherAI的优秀团队，他们在开放训练数据集方面开辟了道路，创建了The Pile数据集，并开源了我们用于训练部分RedPajama模型的代码。
• 感谢我们RedPajama-v1的合作伙伴，包括Ontocord.ai、MILA魁北克AI研究所、ETH DS3Lab、蒙特利尔大学、斯坦福基础模型研究中心（CRFM）、斯坦福Hazy Research研究组和LAION。

许可证

版权所有 2023 Together Computer

根据Apache许可证2.0版（"许可证"）授权；
除非遵守许可证，否则您不得使用此文件。
您可以在以下网址获取许可证副本：

   http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，根据许可证分发的软件是基于
"按原样"分发的，不附带任何明示或暗示的担保或条件。
有关许可证下的特定语言管理权限和限制，请参阅许可证。

有关完整条款，请参阅LICENSE文件。如果您对许可有任何问题、意见或疑虑，请联系我们。

对于数据集本身，请参阅Common Crawl基金会使用条款。

引用RedPajama时，请使用：

@software{together2023redpajama,
  author = {Together Computer},
  title = {RedPajama: an Open Dataset for Training Large Language Models},
  month = October,
  year = 2023,
  url = {https://github.com/togethercomputer/RedPajama-Data}
}