multi-model-server
Multi Model Server是一个灵活的工具,用于部署由各种ML/DL框架训练的深度学习模型。通过命令行界面或预配置的Docker镜像,可以快速设置HTTP端点处理模型推理请求。支持Python 2.7和3.6,提供适合CPU和GPU推理的不同MXNet pip包。详细的文档和使用示例,以及Slack频道和社区支持,进一步简化了用户使用体验。推荐在生产环境中使用Docker容器以提升安全性和性能。