#FasterTransformer
FasterTransformer入门指南 - 高性能Transformer模型推理加速库
2 个月前
FasterTransformer: 加速Transformer模型推理的高性能库
3 个月前
相关项目
FasterTransformer
FasterTransformer不仅支持多框架集成,还针对NVIDIA新一代GPU优化了编解码性能,极大提升了操作效率和处理速度。包含模型支持、性能对比及API演示的详细文档,有助于用户深入了解并有效使用FasterTransformer。
FasterTransformer4CodeFuse
FasterTransformer4CodeFuse是一个针对蚂蚁集团CodeFuse模型的优化推理引擎。它实现了Int8量化、流式输出和快速模型加载,同时改进了提示词处理并提供Python API。项目还支持多GPU tensor并行推理,并提供了详细的性能数据。相比原始FasterTransformer,该项目更适合需要高效推理CodeFuse模型的开发者和研究人员,能够显著提升性能和使用体验。对于寻求高效CodeFuse模型部署方案的团队,这是一个值得考虑的开源选择。