热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#AI部署
model_server - 高性能AI模型部署系统 支持多框架和多设备
OpenVINO Model Server
模型推理
微服务架构
AI部署
模型管理
Github
开源项目
OpenVINO Model Server是一个高性能AI模型部署系统,针对Intel架构优化。支持TensorFlow、PaddlePaddle和ONNX等多种框架,可在不同AI加速器上运行。系统通过gRPC和REST API提供服务,具备模型版本控制、动态输入和DAG调度等功能。适用于边缘计算和云环境,可提高资源利用率和推理效率。该系统还支持Python代码执行、gRPC流式传输和MediaPipe图形服务。OpenVINO Model Server适合微服务架构应用和Kubernetes环境部署,可实现水平和垂直推理扩展。
1
1
相关文章
OpenVINO™ Model Server:高性能可扩展的AI推理服务平台
3 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号