multi-model-server

深度学习模型的部署工具

Multi Model Server 深度学习模型服务 Docker Python Github 开源项目

Multi Model Server是一个灵活的工具，用于部署由各种ML/DL框架训练的深度学习模型。通过命令行界面或预配置的Docker镜像，可以快速设置HTTP端点处理模型推理请求。支持Python 2.7和3.6，提供适合CPU和GPU推理的不同MXNet pip包。详细的文档和使用示例，以及Slack频道和社区支持，进一步简化了用户使用体验。推荐在生产环境中使用Docker容器以提升安全性和性能。

访问官网

Github

介绍相关项目

nllb-serve - 开源多语言翻译服务器与API实现

GithubNLLBREST API人工智能多语言开源项目机器翻译

nllb-serve是一个开源项目，为Meta的NLLB翻译模型提供web界面和REST API。该项目支持200种语言间的翻译，具有便捷的部署流程。它提供服务器配置、命令行工具、API文档和批量翻译功能，支持GPU加速和自定义模型，适用于需要大规模多语言翻译能力的场景。

modelstore - 允许对机器学习模型进行版本控制、导出和保存到文件系统或云存储提供商Python库

Githubmodelstore多云支持开源开源项目机器学习模型管理版本控制

modelstore是一个Python库，可在本地文件系统或多种云存储（如AWS、GCP、Azure）中进行机器学习模型的版本管理、导出、保存和下载。无需跟踪服务器，支持模型域和状态管理、即时下载或内存加载，也可用作命令行工具。支持多个机器学习库，如TensorFlow、PyTorch、Scikit Learn等。详细信息请参考官方文档。

models - 探索最先进的机器学习模型与技术

GithubONNX Model Zoo图像分类对象检测开源项目机器学习模型语言处理

ONNX Model Zoo是一个开源平台，汇集了各种预训练且处于技术前沿的机器学习模型，涵盖计算机视觉、自然语言处理等多个领域。旨在为开发者、研究人员和技术爱好者提供高效实用的AI工具，加速机器学习技术的应用和发展。此外，ONNX Model Zoo支持多种框架和工具，通过共同的文件格式和操作集，促进了AI开发的灵活性和互操作性。平台以开放性和社区驱动的特性为己任，含有诸如图像分类、对象检测等主要模型，并通过简易接口及高级工具满足不同用户需求，使其既适应初学者也满足专业人士的需求。

Deep-Learning-in-Production - 将PyTorch、TensorFlow、Keras和MXNet等深度学习模型部署至生产环境的介绍

C++GithubPyTorchTensorFlow开源项目深度学习部署

项目详细介绍了如何将PyTorch、TensorFlow、Keras和MXNet等深度学习模型部署至生产环境，包括模型转换、API集成、服务器运作及跨框架策略。这一资源库提供实际细节和案例，帮助开发者全面了解部署流程，并通过Flask、C++、Go等多种技术实现模型应用。

serverless-ml-course - 无服务器机器学习课程，用于从模型和功能构建支持 AI 的预测服务

GitHubGithubHopsworksMLOpsPythonServerless Machine Learning开源项目

此课程教授如何使用Python在无服务器环境中构建和部署机器学习预测服务。无需精通Kubernetes或云计算，课程内容包括Pandas与ML管道、数据建模、特征存储、以及训练和推断管道。学习如何使用Hopsworks和Github Actions进行版本管理、测试和数据验证，构建实时无服务器机器学习系统。

kserve - 跨平台机器学习模型服务，提供高效扩展性强的推理功能

GithubKServeKubernetes开源项目机学习模型部署模型推理平台高可扩展性

KServe 提供 Kubernetes 自定义资源定义，支持多种机器学习框架，使用标准化推理协议进行预测和生成模型服务。它简化了自动扩展、网络配置和健康检查的复杂性，支持 GPU 自动扩展、零容量和金丝雀部署等高级功能，适用于生产级的机器学习服务，涵盖预处理、后处理和可解释性。更多信息请访问官网。

server - 开源AI推理服务，兼容多种深度学习和机器学习框架

AI推理GithubNVIDIA AI EnterpriseTriton Inference Server开源项目模型优化深度学习框架

Triton Inference Server是一款开源推理服务软件，支持TensorRT、TensorFlow、PyTorch等多种深度学习和机器学习框架。它优化了云端、数据中心、边缘和嵌入式设备的推理性能，适用于NVIDIA GPU、x86和ARM CPU，以及AWS Inferentia。主要功能包括动态批处理、模型流水线、HTTP/REST和gRPC协议支持等。通过Triton，用户可以轻松部署和优化AI模型，提升推理效率。

stable-diffusion-multi-user - 基于Stable Diffusion的多用户AI绘图服务器部署方案

API部署GPU服务器GithubStable Diffusion多用户开源项目负载均衡

这是一个基于Stable Diffusion的多用户AI绘图服务器项目，提供自动扩展、负载均衡和WebUI扩展API支持。项目包含Django API、Runpod Serverless和Replicate三种部署方案，支持多用户队列、模型切换、civitai模型和Lora等功能。开发者可以基于此项目构建自定义UI、社区功能和账户系统。

llm-engine - 自定义和部署大语言模型的开源解决方案

GithubLLM EngineScale大语言模型开源项目推理API模型微调

LLM Engine是一款Python库、CLI和Helm图表，能够在Scale托管基础设施或自有Kubernetes云中自定义和部署基础模型。支持LLaMA、MPT和Falcon等开源基础模型的API部署和服务，并允许在自有数据上微调以优化性能。该引擎优化推理功能和开源集成，提高部署和微调效率，未来还将提供K8s安装文档和快速冷启动时间。

ppl.llm.serving - 基于ppl.nn的大型语言模型服务框架

CUDAGithubPPL LLM ServinggRPC大型语言模型开源项目推理服务

ppl.llm.serving是基于ppl.nn的大型语言模型服务框架，提供gRPC服务器支持LLaMA等模型推理。该项目支持多GPU、离线推理，并具备模型导出、服务部署和性能测试功能。适用于x86_64和arm64平台，可用于构建和部署大规模语言模型服务。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号