lightseq
LightSeq为基于CUDA的高性能训练与推理库,专为序列处理和生成优化,支持BERT、Transformer等主流模型。最新版本新增int8混合精度功能,显著提升训练与推理效率,完美兼容Fairseq、Hugging Face等框架。