Logo
Project Icon

model_server

高性能AI模型部署系统 支持多框架和多设备

OpenVINO Model Server模型推理微服务架构AI部署模型管理Github开源项目

OpenVINO Model Server是一个高性能AI模型部署系统，针对Intel架构优化。支持TensorFlow、PaddlePaddle和ONNX等多种框架，可在不同AI加速器上运行。系统通过gRPC和REST API提供服务，具备模型版本控制、动态输入和DAG调度等功能。适用于边缘计算和云环境，可提高资源利用率和推理效率。该系统还支持Python代码执行、gRPC流式传输和MediaPipe图形服务。OpenVINO Model Server适合微服务架构应用和Kubernetes环境部署，可实现水平和垂直推理扩展。

访问官网访问官网GithubGithub文档文档
介绍相关项目
mmdeploy - 多平台支持的深度学习模型部署工具集与推理框架
AI模型GithubMMDeployOpenMMLab开源项目模型部署深度学习
MMDeploy是一个开源的深度学习模型部署工具，支持OpenMMLab的各类模型库。该工具集成了多种推理后端，兼容Linux、Windows、macOS和Android等操作系统。提供灵活可扩展的C/C++ SDK框架，支持模型转换、配置编写、性能剖析和量化。详尽文档指导简化了模型部署过程，使其更加高效。
LitServe - 基于FastAPI的高性能AI模型部署引擎 支持批处理和GPU自动扩展
AI模型部署FastAPIGPU自动缩放GithubLitServe开源项目高性能服务
LitServe是一个基于FastAPI构建的AI模型部署引擎，具有高吞吐量和可扩展性。它提供批处理、流式传输和GPU自动扩展功能，支持多模态和多框架，适用于嵌入、LLM服务、音频处理等多种AI任务。基准测试显示，LitServe在并发请求处理方面表现优于FastAPI和TorchServe。该引擎还提供完全控制权和内置认证功能，无需为每个模型重新构建服务器。
ai-reference-models - 提供在Intel硬件上运行的优化深度学习模型资源
GithubIntel AI Reference ModelsIntel Xeon ScalableTransformer优化开源项目深度学习
该存储库含有预训练模型、示例脚本、最佳实践和详细教程，针对优化机器学习模型在Intel® Xeon® 可扩展处理器和Intel® 数据中心GPU上的表现。文档涵盖了使用TensorFlow和PyTorch进行推理与训练的详细步骤，并提供了针对Sapphire Rapids和Intel® Data Center GPU Flex及Max系列的性能优化指南，展示了在最佳硬件配置下的AI性能。
ai00_server - 基于RWKV模型的高效且易用的推理API服务器
AI00 RWKV ServerChatGPT兼容GithubLLM推理Vulkan加速开源开源项目
AI00 RWKV Server是一款高效且易用的推理API服务器，基于RWKV模型，支持Vulkan兼容的所有GPU进行加速，包括AMD显卡和集成图形。无需依赖庞大的pytorch或CUDA环境，开箱即用，并兼容OpenAI的ChatGPT API接口。此服务器完全开源和商用友好，适用于文本生成、翻译、问答等多种任务，是开发大语言模型应用的理想选择。
modelscope - 整合与应用前沿AI模型的开放平台
API接口GithubModelScope开源库开源项目机器学习模型模型服务
ModelScope简化了AI模型在推理、训练和评估方面的流程，支持CV、NLP、语音、多模态和科学计算等领域的应用。该平台提供统一接口和丰富的API层级，便于开发者轻松集成和使用700多种最新开源模型。适合初学者和专业人士快速上手，体验强大功能。
kserve - 跨平台机器学习模型服务，提供高效扩展性强的推理功能
GithubKServeKubernetes开源项目机学习模型部署模型推理平台高可扩展性
KServe 提供 Kubernetes 自定义资源定义，支持多种机器学习框架，使用标准化推理协议进行预测和生成模型服务。它简化了自动扩展、网络配置和健康检查的复杂性，支持 GPU 自动扩展、零容量和金丝雀部署等高级功能，适用于生产级的机器学习服务，涵盖预处理、后处理和可解释性。更多信息请访问官网。
onnx - 一个为 AI 开发人员提供支持的开放生态系统
AI模型GithubONNX开源项目推理机器学习深度学习
ONNX是一个开放生态系统，提供AI模型的开源格式，支持深度学习和传统机器学习。通过定义可扩展的计算图模型和内置操作符及标准数据类型，ONNX增强了不同框架间的互操作性，加速了从研究到生产的转化。ONNX广泛支持各种工具和硬件，助力AI社区快速创新。了解ONNX的文档、教程和预训练模型，加入社区，共同推动ONNX的发展。
willow-inference-server - 高性能语言推理的开源自托管解决方案
ASRCUDAGithubTTSWebRTCWillow Inference Server开源项目
Willow Inference Server (WIS) 是一个高效的开源语言推理服务器，支持自托管并优化了CUDA和低端设备的使用。在减少内存和显存占用的前提下，能够同时加载多种语言模型。WIS 支持语音识别 (ASR)、文本到语音合成 (TTS) 以及大语言模型 (LLM)，并通过 REST、WebRTC 和 WebSockets 等多种传输方式，实现实时、低延迟的语音与语言处理，适用于各类助理任务和视障用户。
models - 探索最先进的机器学习模型与技术
GithubONNX Model Zoo图像分类对象检测开源项目机器学习模型语言处理
ONNX Model Zoo是一个开源平台，汇集了各种预训练且处于技术前沿的机器学习模型，涵盖计算机视觉、自然语言处理等多个领域。旨在为开发者、研究人员和技术爱好者提供高效实用的AI工具，加速机器学习技术的应用和发展。此外，ONNX Model Zoo支持多种框架和工具，通过共同的文件格式和操作集，促进了AI开发的灵活性和互操作性。平台以开放性和社区驱动的特性为己任，含有诸如图像分类、对象检测等主要模型，并通过简易接口及高级工具满足不同用户需求，使其既适应初学者也满足专业人士的需求。
modelz-llm - 开源大语言模型推理服务器，支持本地和云端部署并兼容OpenAI API
GithubModelz LLMOpenAI兼容 API云原生开源LLMs开源项目自托管
Modelz LLM 是一款推理服务器，支持在本地或云端环境中运行开源大语言模型（LLM），如FastChat、LLaMA和ChatGLM，并兼容OpenAI API。用户可以通过OpenAI Python SDK或LangChain与模型交互，支持将不同LLM的Docker镜像部署在Kubernetes等云原生环境，便于开发者快速上手和灵活部署各种AI应用。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号