#数据并行
rayon - Rust轻量级数据并行库 简化并行计算实现
Rayon并行计算Rust数据并行性能优化Github开源项目
Rayon是一个轻量级Rust数据并行库，可将顺序计算转换为并行计算，保证无数据竞争。它提供简单的并行迭代器API，支持将`iter()`改为`par_iter()`实现并行化。此外，Rayon还包含灵活的join和scope函数，以及自定义线程池功能，满足多样化的并行计算需求。
BERT-GPU - 单机多GPU加速BERT预训练的开源实现
BERT多GPU预训练数据并行深度学习自然语言处理Github开源项目
BERT-GPU项目为BERT模型在单机多GPU环境下的预训练提供了开源实现。该项目无需Horovod即可实现数据并行，通过增加GPU数量扩大批处理规模，从而加速训练过程。项目包含详细的训练流程和参数配置说明，并提供了下游任务的实验结果。这种方法在维持模型性能的同时，有效提升了预训练效率。
