Logo
Project Icon

BentoML

简化AI模型推理API的构建与部署

BentoML模型服务框架AI模型Docker容器生产环境Github开源项目

BentoML是一个开源模型服务框架，简化了AI和ML模型的生产部署。可以将任何模型推理脚本轻松转化为REST API服务器，并通过简单配置文件管理环境、依赖和模型版本。BentoML支持高性能推理API的构建，利用动态批处理、模型并行化和多阶段流水线等优化功能，最大化CPU/GPU利用率。此外，还支持自定义AI应用、异步推理任务和定制化前后处理逻辑。通过Docker容器或BentoCloud可轻松部署至生产环境，适用于各种机器学习框架和推理运行时。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档论文论文
介绍相关项目
wandb - 专注于机器学习流程优化的工具
GithubWeights & Biases开源项目数据可视化机器学习模型管理模型训练
Weights & Biases（简称W&B）是一个专注于机器学习流程优化的工具，它通过追踪和可视化机器学习的各个阶段——从数据集处理到模型部署——以提高开发效率。W&B 允许用户在一处平台上管理和比较多个实验，便捷地监控实验的运行效果及进度。
envd - 简化AI/ML开发环境的容器化工具
AI/MLGithubPythonenvd容器技术开发环境开源项目
envd是一款简化AI/ML开发环境配置的命令行工具。它支持快速创建基于容器的开发环境,提供简洁的CLI和配置语言。envd实现了环境隔离,兼容OCI镜像,可在本地和云端部署。通过远程构建和软件缓存提高效率,支持从Git仓库导入配置以便团队共享。这些特性使envd成为提升AI/ML开发效率的有力工具。
kaito - Kubernetes集群AI/ML模型自动化部署与管理工具
AIGPUGithubKubernetes大型模型开源项目自动化
Kaito是一款专为Kubernetes集群设计的AI/ML模型自动化管理工具。它支持falcon和phi-3等开源大模型，通过容器镜像管理模型文件，提供预设配置，自动配置GPU节点，并利用Microsoft Container Registry托管模型镜像。Kaito显著简化了在Kubernetes环境中部署和管理大型AI推理模型的过程，为开发者和运维人员提供了高效、便捷的解决方案。
FastDeploy - 多场景AI模型部署工具
AI模型部署FastDeployGithubNLPPaddlePaddle开源项目视觉任务
高性能AI模型部署工具，支持文本、视觉、语音及跨模态模型的优化，适用于云端、移动端和边缘设备。支持160多种模型，涵盖图像分类、目标检测、OCR、人脸检测、抠图、跟踪、NLP、语音合成等任务，满足多场景、多硬件、多平台的需求。
autoai - 自动化AI模型训练与优化框架
AutoAIGithub代码生成开源项目数据预处理机器学习预测模型
BlobCity AutoAI是一个自动化AI/ML模型训练框架，适用于分类和回归问题。该框架集成了特征选择、模型搜索、训练和超参数调优功能，并能生成高质量模型代码。AutoAI支持多种数据输入格式，提供内置预处理、模型评估和可视化工具，简化了AI开发流程。目前该项目处于beta版本，正在持续开发完善中。
llm-engine - 自定义和部署大语言模型的开源解决方案
GithubLLM EngineScale大语言模型开源项目推理API模型微调
LLM Engine是一款Python库、CLI和Helm图表，能够在Scale托管基础设施或自有Kubernetes云中自定义和部署基础模型。支持LLaMA、MPT和Falcon等开源基础模型的API部署和服务，并允许在自有数据上微调以优化性能。该引擎优化推理功能和开源集成，提高部署和微调效率，未来还将提供K8s安装文档和快速冷启动时间。
neoml - 跨平台多语言支持的端到端机器学习框架
ABBYYGithubNeoMLONNX开源项目机器学习框架神经网络
NeoML是一个端到端机器学习框架，可用于构建、训练和部署模型，适用于计算机视觉和自然语言处理任务，如图像预处理、分类、OCR和数据提取。支持100多种神经网络层类型和20多种传统机器学习算法，兼容CPU和GPU，并支持ONNX格式。适用的编程语言包括Python、C++、Java和Objective-C，且可运行于Windows、Linux、macOS、iOS和Android平台。
modelscope - 整合与应用前沿AI模型的开放平台
API接口GithubModelScope开源库开源项目机器学习模型模型服务
ModelScope简化了AI模型在推理、训练和评估方面的流程，支持CV、NLP、语音、多模态和科学计算等领域的应用。该平台提供统一接口和丰富的API层级，便于开发者轻松集成和使用700多种最新开源模型。适合初学者和专业人士快速上手，体验强大功能。
mlstacks - 简化MLOps基础设施部署的开源工具
GithubMLOpsMLStacksTerraformZenML基础设施部署开源项目
MLStacks是一个开源Python工具，通过Terraform实现快速部署MLOps基础设施。虽然主要设计用于ZenML，但也兼容其他MLOps工具和平台。用户只需编写YAML规范文件并使用CLI部署，MLStacks即可自动完成剩余工作。目前支持在AWS、GCP和本地K3D上部署模块化MLOps堆栈。该工具旨在简化部署流程，方便用户评估不同MLOps工具组合。
bespoke_automata - 图形化设计和部署AI代理的开源工具
AI代理API部署Bespoke AutomataGithub大语言模型开源项目节点图界面
Bespoke Automata是一个开源的AI代理开发工具，通过图形界面简化了复杂AI系统的设计过程。它整合了本地和远程语言模型、数据库操作、逻辑处理和API调用等功能，使开发者能够创建自定义AI代理。该工具支持单一API部署，兼容多种硬件平台，并可选择GPU加速，为AI项目开发提供了灵活的解决方案。作为开源项目，Bespoke Automata为AI开发社区提供了一个灵活且可扩展的开发环境。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号