Rayon是一个轻量级Rust数据并行库，可将顺序计算转换为并行计算，保证无数据竞争。它提供简单的并行迭代器API，支持将`iter()`改为`par_iter()`实现并行化。此外，Rayon还包含灵活的join和scope函数，以及自定义线程池功能，满足多样化的并行计算需求。

BERT-GPU项目为BERT模型在单机多GPU环境下的预训练提供了开源实现。该项目无需Horovod即可实现数据并行，通过增加GPU数量扩大批处理规模，从而加速训练过程。项目包含详细的训练流程和参数配置说明，并提供了下游任务的实验结果。这种方法在维持模型性能的同时，有效提升了预训练效率。