#并行训练

WaveGrad是Google Brain开发的依托去噪扩散概率模型(DDPM)技术的高保真语音合成工具。这一项目特别适用于高迭代推理，并且能在不同硬件上包括单GPU环境进行稳定高效的训练。其主要特点包括高保真声音生成、多迭代支持及分布式训练功能。预训练模型及灵活架构配置加强了其实用性和适应性。

Makani是一个基于PyTorch的实验库,用于研发机器学习驱动的天气和气候模型。它支持在100多个GPU上进行大规模并行训练,提供多种模型和数据并行技术,以及异步数据加载等功能。该项目由NVIDIA和NERSC研发,用于训练FourCastNet等深度学习天气预报模型,为下一代天气和气候模型的开发提供支持。

LandMark是一个基于GridNeRF的大规模3D城市场景重建与渲染系统。通过并行计算、算子优化和算法改进,该系统实现了100平方公里以上城市数据的高效3D神经场景训练,渲染分辨率可达4K。LandMark不仅支持场景布局调整和风格化等功能,还提供了完整的训练、渲染和应用基础设施,为大规模真实世界3D重建开辟了新的可能。

PureJaxRL是一个端到端JAX强化学习框架,将整个训练流程(包括环境)实现在JAX中。通过JIT编译和避免CPU-GPU数据传输,在GPU上并行运行多个智能体时,性能比PyTorch实现提升1000倍以上。框架支持使用JAX的jit、vmap等功能优化训练流程,实现高效并行训练、快速超参数调优和元进化算法探索。