#高性能推理

Paddle-Lite

Paddle Lite 是为移动端、嵌入式和边缘设备设计的高性能深度学习推理框架。支持多种硬件平台和操作系统，提供丰富的优化工具和多语言 API，便于快速部署和执行推理任务。通过量化和子图融合等策略，Paddle Lite 实现了轻量化和高性能，并已广泛应用于百度和其他企业。用户可以通过简单步骤完成模型优化和部署，并快速上手示例。

serving

TensorFlow Serving 是一个为生产环境设计的灵活且高性能的机器学习模型推理系统。它管理训练后的模型生命周期，通过高效查询表提供版本化访问，支持多模型和多版本同时部署。系统支持 gRPC 和 HTTP 推理端点，允许无缝部署新版本，支持金丝雀发布和 A/B 测试，并且延迟极低。调度器将推理请求分组以在 GPU 上联合执行，支持包括 TensorFlow 模型、嵌入、词汇表和特征转换在内的多种服务对象。

ailia-models

ailia SDK 是一款跨平台高速AI推理工具，适用于Windows、Mac、Linux、iOS、Android、Jetson和Raspberry Pi平台，并支持Unity (C#)、Python、Rust、Flutter (Dart) 和 JNI。该SDK通过Vulkan和Metal利用GPU增强计算性能。用户可通过pip3安装并使用丰富的预训练模型库，包括动作识别、异常检测和音频处理等领域。最新更新增加了mahalanobis-ad和t5_base_japanese_ner模型。