BERT-GPU项目为BERT模型在单机多GPU环境下的预训练提供了开源实现。该项目无需Horovod即可实现数据并行，通过增加GPU数量扩大批处理规模，从而加速训练过程。项目包含详细的训练流程和参数配置说明，并提供了下游任务的实验结果。这种方法在维持模型性能的同时，有效提升了预训练效率。