optimum
Optimum扩展了Transformers和Diffusers,提供了一系列优化工具,提升模型在不同硬件上的训练和运行效率。支持的硬件平台包括ONNX Runtime、Intel Neural Compressor、OpenVINO、NVIDIA TensorRT-LLM、AMD Instinct GPUs、AWS Trainium & Inferentia、Habana Gaudi处理器和FuriosaAI。Optimum支持多种优化技术,如图优化、动态量化、静态量化和量化感知训练,配有详尽的文档和示例代码,帮助用户导出和运行优化后的模型。