serving

灵活且高效的机器学习模型推理平台

TensorFlow Serving 模型部署机器学习高性能推理 Docker Github 开源项目

TensorFlow Serving 是一个为生产环境设计的灵活且高性能的机器学习模型推理系统。它管理训练后的模型生命周期，通过高效查询表提供版本化访问，支持多模型和多版本同时部署。系统支持 gRPC 和 HTTP 推理端点，允许无缝部署新版本，支持金丝雀发布和 A/B 测试，并且延迟极低。调度器将推理请求分组以在 GPU 上联合执行，支持包括 TensorFlow 模型、嵌入、词汇表和特征转换在内的多种服务对象。

访问官网

Github

介绍相关项目

TensorLayer - 高性能且灵活的深度学习和强化学习工具库

GithubTensorFlowTensorLayer开源软件开源项目强化学习深度学习

TensorLayer 是一个基于 TensorFlow 的深度学习和强化学习库，为研究人员和工程师提供多种可定制的神经网络层，简化复杂 AI 模型的构建。它设计独特，结合了高性能与灵活性，支持多种后端和硬件，并提供丰富的教程和应用实例。广泛应用于全球知名大学和企业，如谷歌、微软、阿里巴巴等。

easy-tensorflow - TensorFlow教程与简化代码示例

Easy-TensorFlowGithubPythonTensorFlow开源项目教程深度学习

Easy-TensorFlow提供详尽的教程和简化的代码实现，旨在简化学习路径。项目涵盖从基础到高级的教程，每个步骤都有全面解释和源代码示例。它强调低层和高层网络训练接口、Tensorboard可视化工具、多GPU支持等特性。无论是新手还是有经验的开发者，都可以通过这些教程更加高效地掌握TensorFlow。

TensorRT - 优化深度学习推理的开源平台

CUDADockerGithubNVIDIAONNXTensorRT开源项目

NVIDIA TensorRT 开源软件提供插件和 ONNX 解析器的源码，展示 TensorRT 平台功能的示例应用。这些组件是 TensorRT GA 版本的一部分，并包含扩展和修复。用户可以轻松安装 TensorRT Python 包或根据构建指南编译。企业用户可使用 NVIDIA AI Enterprise 套件，并可加入 TensorRT 社区获取最新产品更新和最佳实践。

text-embeddings-inference - 快速上手Ai理论及应用实战

API文档BERTDockerGithubtext-embeddings-inference开源项目模型部署

Text Embeddings Inference 为文本嵌入模型提供高效的推理服务，支持多种模型配置，适合AI及深度学习需求。快速部署和卓越的服务器级性能使其成为企业和研究机构面对大规模文本处理和复杂查询时的理想选择，支持包括 [BERT](https://link-to-bert) 和 [RoBERTa](https://link-to-roberta) 在内的多种模型，并兼容 Docker 和完备的 API 文档。

lingvo - Tensorflow中高效的序列模型神经网络构建框架

GithubLingvoTensorflow开源项目机器翻译模型训练神经网络

Lingvo由Google维护的高质量框架，专用于在Tensorflow中构建神经网络，特别适用于序列模型的开发。此框架支持多种模型类型，包括自动语音识别、图片处理、语言建模和机器翻译等。Lingvo允许通过pip安装或源代码编译来灵活部署。借助详尽的文档和综合的模型库，用户可以轻松地构建、训练并评估自定义模型。此外，Lingvo还与最新版本的Tensorflow和Python兼容，确保与当前技术生态的同步。

Tensorflow-bin - 适用于RaspberryPi的Tensorflow Lite预构建二进制文件，支持XNNPACK和半精度推理功能

GithubPython APIRaspberryPiTensorflow LiteTensorflow-binXNNPACK开源项目

提供适用于RaspberryPi的Tensorflow Lite预构建二进制文件，支持XNNPACK和半精度推理功能。兼容多个操作系统和Python版本，支持Tensorflow v1到v2的多版本安装。通过简便的安装脚本，用户可以快速部署和运行Tensorflow模型，实现高效的设备端推理。

mlflow - 机器学习生命周期管理的轻量级平台

GithubMLflow实验跟踪开源项目机器学习模型管理项目打包

MLflow 是一个轻量级平台，帮助简化机器学习的开发和部署过程。它支持实验跟踪、代码打包和模型部署，并且可以集成 TensorFlow、PyTorch 和 XGBoost 等库。主要组件包括 MLflow Tracking、MLflow Projects、MLflow Models 和 MLflow Model Registry，助力全面管理机器学习生命周期。

hub - 机器学习预训练模型分享与复用平台

GithubKaggle ModelsSavedModelTensorFlow Hub开源项目机器学习模型模型迁移

TensorFlow Hub是机器学习预训练模型的开源分享平台，现已迁移至Kaggle Models。平台提供SavedModel格式的TensorFlow 2模型和tensorflow_hub Python库，支持快速下载和重用模型。开发者可轻松获取预训练模型，加速机器学习项目开发。尽管迁移，tensorflow_hub库仍支持下载原有tfhub.dev模型。

swift - 轻量级基础架构，专为深度学习开发者打造的训练与推理框架

GithubSWIFT在线工具多模态大模型开源项目模型培训深度学习

SWIFT平台支持超过300种大型语言模型与50多种多模态模型的训练、微调和部署。提供NEFTune、LoRA+、LLaMA-PRO等先进的训练技术及适配器库，针对各种研发和生产环境。同时，平台提供Gradio web-ui及深度学习课程助力初学者快速上手。

probability - TensorFlow生态系统中的概率推理与统计分析工具

GithubTensorFlow Probability分布计算开源项目概率推理深度学习统计分析

TensorFlow Probability 是一个概率推理与统计分析库，作为 TensorFlow 生态系统的一部分，结合了概率方法与深度网络。其功能包括自动微分的梯度推断，以及通过 GPU 和分布式计算实现对大规模数据集和模型的可扩展性。主要组件包括概率分布、可逆变换、联合分布、概率层和多种概率推断算法，如马尔可夫链蒙特卡洛和变分推断。提供详细教程和案例，帮助用户解决实际问题。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号