#KServe
相关项目
kserve
KServe 提供 Kubernetes 自定义资源定义，支持多种机器学习框架，使用标准化推理协议进行预测和生成模型服务。它简化了自动扩展、网络配置和健康检查的复杂性，支持 GPU 自动扩展、零容量和金丝雀部署等高级功能，适用于生产级的机器学习服务，涵盖预处理、后处理和可解释性。更多信息请访问官网。
website
KServe是开源机器学习模型服务平台，旨在简化AI模型部署和管理。项目网站提供全面文档、代码示例和社区资源。支持版本化文档，欢迎社区参与改进。平台为企业级AI部署提供灵活解决方案，包括最新文档、博客和贡献指南。
modelmesh-serving
ModelMesh Serving是一个开源的机器学习模型管理控制器，用于管理ModelMesh这一通用模型服务管理和路由层。它实现了高效的模型部署、扩展和负载均衡，支持Triton、MLServer和TorchServe等多种主流模型服务运行时。通过自定义ServingRuntime功能，ModelMesh Serving可灵活集成其他模型服务器，为机器学习模型的生产环境部署提供了可靠的解决方案。