#硬件感知
hardware-aware-transformers - 瞄准多硬件平台优化的自然语言处理Transformer模型
HATTransformerNLPPyTorch硬件感知Github开源项目
HAT项目提供基于PyTorch的硬件感知Transformer,模型大小减小至原来的3.7倍,且性能无损。通过SuperTransformer搜索优化的SubTransformer,大幅降低搜索成本,并在不同硬件平台例如Raspberry Pi和Intel Xeon上实现显著加速。支持多种机器翻译任务,并提供预处理数据和预训练模型的直接下载。
Olive - 硬件感知型AI模型优化开源工具
Olive模型优化硬件感知AI加速开源框架Github开源项目
Olive是一个开源的硬件感知型AI模型优化工具,整合了先进的模型压缩、优化和编译技术。它能根据特定模型和目标硬件自动选择最适合的优化方法,在保证精度和延迟的同时,为云端和边缘设备生成高效推理模型。Olive通过简化开发流程和统一优化框架,支持多种硬件平台,有效提升AI模型部署效率。