#OneFlow

oneflow - 用户友好且高效扩展的深度学习框架
Github开源项目分布式训练深度学习框架OneFlowPyTorch APICUDA支持
OneFlow是一款深度学习框架,提供类似PyTorch的API,支持n维并行执行的全局张量以及图编译器用于加速和部署模型。最新版本1.0.0已发布,兼容Linux和多个Python版本。用户可以通过Docker或Pip轻松安装,并利用丰富的文档和模型库快速上手,适合大型变压器模型的并行训练和计算机视觉任务。
how-to-optim-algorithm-in-cuda - 记录如何基于 cuda 优化一些常见的算法
Github开源项目PyTorch深度学习算法优化CUDAOneFlow
本项目详尽介绍了基于CUDA的算法优化方法,涉及从基本元素操作到高级并行处理,包括多个CUDA示例和性能评测。此外,配合专业课程及学习笔记,适用于各层次对CUDA感兴趣的人士。项目还整合了多种教程和代码示例,助力快速学习和应用CUDA优化技术。
libai - 支持多种并行训练的大规模模型训练工具
Github开源项目模型训练OneFlowNLP任务LiBaiCV任务
LiBai是基于OneFlow的大规模开源模型训练工具,支持数据并行、张量并行和流水线并行等多种训练组件。提供分布式训练、混合精度训练、激活检查点等多种技术,适用于计算机视觉和自然语言处理任务。LiBai易于使用,模块化设计便于研究项目的搭建,同时具备高效性能,支持CIFAR、ImageNet和BERT等数据集的处理。