Logo
Project Icon

serving

灵活且高效的机器学习模型推理平台

TensorFlow Serving模型部署机器学习高性能推理DockerGithub开源项目

TensorFlow Serving 是一个为生产环境设计的灵活且高性能的机器学习模型推理系统。它管理训练后的模型生命周期，通过高效查询表提供版本化访问，支持多模型和多版本同时部署。系统支持 gRPC 和 HTTP 推理端点，允许无缝部署新版本，支持金丝雀发布和 A/B 测试，并且延迟极低。调度器将推理请求分组以在 GPU 上联合执行，支持包括 TensorFlow 模型、嵌入、词汇表和特征转换在内的多种服务对象。

访问官网访问官网GithubGithub文档文档
介绍相关项目
tensor-house - 企业AI/ML项目的全面参考工具包
AI/ML应用GithubTensorHouse企业解决方案开源项目强化学习深度学习
为企业提供营销、定价、供应链和智能制造领域的AI/ML应用参考工具包，包括Jupyter笔记本、原型应用、数据集和评估问卷，帮助快速评估项目准备度，进行数据分析和构建模型原型，适用于深度学习、强化学习和因果推断方法。
examples - TensorFlow示例与教程，支持学习深度学习
GithubTensorFlowTensorFlow文档开源项目深度学习社区示例课程材料
TensorFlow示例库提供丰富的深度学习课程材料和示范代码，适合深入学习TensorFlow技术。库内容涵盖社区示例、官方课程材料及TensorFlow博客和YouTube频道的支持内容。通过阅读核心文档和示例代码，用户可以更好地理解和应用TensorFlow。欢迎社区贡献，查看贡献指南了解详细信息。
agents - 可靠、可扩展且易于使用的TensorFlow Contextual Bandits和强化学习库
GithubPythonTF-AgentsTensorFlow上下文赌博机开源项目强化学习
TF-Agents是一个简化实现、部署和测试新Contextual Bandits和强化学习算法的TensorFlow库。它提供了经过充分测试和模块化的组件，方便修改与扩展，加快代码迭代，并拥有良好的测试集成和基准测试功能。TF-Agents支持多种知名算法如DQN、DDPG和PPO，配有详尽的教程和示例，帮助用户快速上手。无论是稳定版还是夜间版，都可以根据需求进行安装使用，且库的开发保持积极进行以确保灵活与前沿。
io - 由 TensorFlow SIG-IO 维护的数据集、流式处理和文件系统扩展
GithubKerasMNISTTensorFlow I/O开源项目文件格式文件系统
TensorFlow I/O 扩展了 TensorFlow 的数据处理功能，支持多种文件系统和格式，简化数据集访问。通过 tensorflow-io，可直接使用 HTTP/HTTPS 读取和处理数据，无需下载或存储。此外，该项目支持 Docker 镜像和 R 包，兼容最新的 TensorFlow 版本，并集成多种系统和云服务。详细信息和使用示例请参考官方文档。
TaskingAI - 智能代理开发平台
APIBaaSGithubLLM平台TaskingAI工具开源项目热门
TaskingAI是一款高效的后端即服务(BaaS)平台，专为基于大型语言模型(LLM)的智能代理开发和部署而设计。该平台提供统一的API接口，支持数百种AI模型并提供直观的用户界面。通过一键生产部署、异步计算优化以及模块化管理，TaskingAI不仅加快了应用开发流程，还通过插件和工具增强了智能代理的性能，让开发者可以轻松构建并扩展企业级智能应用。
inference - 简化了计算机视觉模型的部署的开源平台
GithubRoboflow InferenceYOLOv8开源平台开源项目模型部署计算机视觉
Roboflow Inference 是一个开源平台，简化了计算机视觉模型的部署。通过 Python 原生包、自托管推理服务器或托管的 API，开发者可以执行对象检测、分类和实例分割，并使用基础模型如 CLIP、Segment Anything 和 YOLO-World。平台提供了高级功能，如服务器部署、设备管理和主动学习。支持 GPU 加速环境，并提供详尽的文档和教程，帮助用户充分利用 Inference 包的功能。
openmodelz - 开源平台简化机器学习模型的部署和扩展
GithubOpenModelZ开源开源项目机器学习模型部署自动扩展
OpenModelZ是一个开源平台,简化了机器学习模型的部署和扩展过程。它支持将模型部署到任何集群,提供自动扩展、多框架兼容、Gradio/Streamlit/Jupyter集成等功能。用户可从单机起步,轻松扩展到集群,每个部署都有独立子域名。该平台自动处理基础设施,让开发者专注于模型本身。
tensorflow-speech-recognition - 开源TensorFlow中的语音识别示例
DeepSpeechGithubTensorflowWhisper开源项目深度学习语音识别
使用谷歌的TensorFlow框架进行语音识别，最初目标是为Linux系统创建独立的语音识别模型。尽管该项目现主要用于教学，开发者展示了使用开源数据和强大模型实现高效语音识别的潜力。推荐查看更新项目如Whisper和Mozilla的DeepSpeech，这两个项目在错误率方面的表现出色。该项目包含示例代码、依赖安装指导及功能扩展，如GPU上的WarpCTC和P2P学习模块。
hands-on-ml-zh - Sklearn和TensorFlow机器学习指南
GithubPythonSklearnTensorFlow开源项目数据分析机器学习
本指南详细介绍了如何使用Sklearn和TensorFlow进行机器学习，包括在线阅读、Docker镜像、PYPI包和NPM包的多种下载方式，并提供了完整的编译和安装步骤。通过该指南，读者能够学习和掌握数据分析及机器学习的实用技能。
recommenders-addons - 大规模推荐系统中的动态嵌入技术增强体验
GPU加速GithubTensorFlow Recommenders Addons动态嵌入技术大规模训练开源项目推荐系统
TensorFlow Recommenders Addons通过引入动态嵌入技术，使TensorFlow更适合搜索、推荐和广告模型的训练，全面兼容TensorFlow优化器和CheckPoint功能，支持GPU上的训练和推理。项目增强了推荐系统性能，解决了哈希冲突问题，并提供多种动态嵌入存储选项（如cuckoohash_map和Redis）。支持TF serving和Triton Inference Server，以便在大规模环境中部署和评估复杂推荐模型。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号