热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#转换器模型
CTranslate2 - 高效的Transformer模型推理库,提供多种性能优化方案
Github
开源项目
CTranslate2
性能优化
模型压缩
转换器模型
并行执行
CTranslate2是一个用于Transformer模型高效推理的C++和Python库,通过权重量化、层融合、批次重排序等技术,显著提升CPU和GPU上的执行速度并减少内存占用。支持多种模型类型,包括编码器-解码器、仅解码器和仅编码器模型,兼容OpenNMT-py、OpenNMT-tf、Fairseq等框架。其主要特点包括自动CPU检测、代码分发、并行和异步执行以及动态内存使用。
1
1
相关文章
CTranslate2: 高效的Transformer模型推理引擎
3 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号