#模型服务管理

modelmesh

ModelMesh是一个通用的模型服务管理框架，适用于大规模、高密度和动态变化的模型部署环境。它作为分布式LRU缓存，与各种模型服务器协同工作，优化运行时模型的服务。支持Kubernetes部署，提供自定义资源管理，并能无缝集成多种开源模型服务器。

modelmesh-serving

ModelMesh Serving是一个开源的机器学习模型管理控制器，用于管理ModelMesh这一通用模型服务管理和路由层。它实现了高效的模型部署、扩展和负载均衡，支持Triton、MLServer和TorchServe等多种主流模型服务运行时。通过自定义ServingRuntime功能，ModelMesh Serving可灵活集成其他模型服务器，为机器学习模型的生产环境部署提供了可靠的解决方案。