ModelMesh
ModelMesh框架是一个成熟的、通用的模型服务管理/路由层,专为高规模、高密度和频繁变化的模型用例而设计。它可以与现有或定制的模型服务器配合使用,并作为服务运行时模型的分布式LRU缓存。
要完整部署和管理基于Kubernetes的ModelMesh集群和模型,请参阅ModelMesh Serving仓库。这包括一个独立的控制器,提供基于K8s自定义资源的ServingRuntime和InferenceService管理,以及对模型仓库存储的通用抽象处理,并已集成了一些现有的开源模型服务器。
有关支持的功能和设计细节的更多信息,请参阅这些图表。
开始使用
要了解更多关于ModelMesh框架的信息并开始使用,请查看文档。
开发者指南
使用开发者指南来了解项目的开发实践。