#FasterTransformer
FasterTransformer入门指南 - 高性能Transformer模型推理加速库
2024年09月10日
FasterTransformer: 加速Transformer模型推理的高性能库
2024年08月30日
相关项目
FasterTransformer
FasterTransformer不仅支持多框架集成，还针对NVIDIA新一代GPU优化了编解码性能，极大提升了操作效率和处理速度。包含模型支持、性能对比及API演示的详细文档，有助于用户深入了解并有效使用FasterTransformer。
FasterTransformer4CodeFuse
FasterTransformer4CodeFuse是一个针对蚂蚁集团CodeFuse模型的优化推理引擎。它实现了Int8量化、流式输出和快速模型加载，同时改进了提示词处理并提供Python API。项目还支持多GPU tensor并行推理，并提供了详细的性能数据。相比原始FasterTransformer，该项目更适合需要高效推理CodeFuse模型的开发者和研究人员，能够显著提升性能和使用体验。对于寻求高效CodeFuse模型部署方案的团队，这是一个值得考虑的开源选择。