Project Icon

pytriton

优化Python环境下NVIDIA Triton推理服务器的应用

PyTriton是一款类似Flask/FastAPI的框架,旨在优化NVIDIA Triton推理服务器在Python环境中的应用。该框架支持直接从Python部署机器学习模型,具有原生Python支持、框架无关性和性能优化等特点。通过简洁的接口,PyTriton简化了模型部署、性能优化和API开发过程。不论使用PyTorch、TensorFlow还是JAX,开发者均可将Python代码轻松转换为HTTP/gRPC API。

PyTriton

欢迎使用PyTriton,这是一个类似于Flask/FastAPI的框架,旨在简化在Python环境中使用NVIDIA的Triton推理服务器。PyTriton使得部署机器学习模型变得简单,支持直接从Python进行部署。

有关如何部署模型、优化性能以及探索API的全面指导,请深入查阅我们文档中的丰富资源。

功能概览

PyTriton的独特功能总结在以下特性矩阵中:

特性描述
原生Python支持您可以创建任何Python函数并将其作为HTTP/gRPC API暴露。
框架无关您可以运行任何Python代码,使用您选择的任何框架,如PyTorch、TensorFlow或JAX。
性能优化您可以受益于动态批处理、响应缓存、模型流水线、集群、性能追踪以及GPU/CPU推理。
装饰器您可以使用批处理装饰器来处理推理函数的批处理和其他预处理任务。
简单的安装和设置您可以使用基于Flask/FastAPI的简单熟悉的接口进行简单的安装和设置
模型客户端您可以访问用于HTTP/gRPC请求的高级模型客户端,具有可配置选项以及同步和异步API。
流式传输(alpha)您可以通过解耦模式提供模型,从模型中流式传输部分响应。

了解更多关于PyTriton的架构

先决条件

在安装PyTriton之前,请确保您的系统满足以下条件:

  • 操作系统:兼容glibc版本2.35或更高。
    • 主要在Ubuntu 22.04上测试。
    • 其他支持的操作系统包括Debian 11+、Rocky Linux 9+和Red Hat UBI 9+。
    • 使用ldd --version验证您的glibc版本。
  • Python:版本3.8或更新。
  • pip:版本20.3或更新。
  • libpython:确保安装了与您的Python版本相对应的libpython3.*.so

安装

可以通过运行以下命令从pypi.org安装PyTriton:

pip install nvidia-pytriton

重要:Triton推理服务器二进制文件作为PyTriton包的一部分安装。

了解更多关于PyTriton的安装程序,包括Docker使用、先决条件,以及从源代码构建二进制文件以匹配您特定的Triton服务器版本的见解。

快速入门

快速入门展示了如何在Triton推理服务器中运行Python模型,无需更改当前工作环境。在示例中,我们使用一个简单的Linear模型。

infer_fn是一个接受data张量并返回包含单个输出张量的列表的函数。来自批处理装饰器@batch用于处理模型的批处理。

import numpy as np
from pytriton.decorators import batch

@batch
def infer_fn(data):
    result = data * np.array([[-1]], dtype=np.float32)  # 处理输入并产生结果
    return [result]

在下一步中,您可以使用pyTriton的bind方法创建推理可调用和Triton推理服务器之间的绑定。此方法接受模型名称、推理可调用、输入和输出张量,以及可选的模型配置对象。

from pytriton.model_config import Tensor
from pytriton.triton import Triton
triton = Triton()
triton.bind(
    model_name="Linear",
    infer_func=infer_fn,
    inputs=[Tensor(name="data", dtype=np.float32, shape=(-1,)),],
    outputs=[Tensor(name="result", dtype=np.float32, shape=(-1,)),],
)
triton.run()

最后,您可以使用ModelClient类向模型发送推理查询。infer_sample方法接受输入数据作为numpy数组,并返回输出数据作为numpy数组。您可以在客户端部分了解更多关于ModelClient类的信息。

from pytriton.client import ModelClient

client = ModelClient("localhost", "Linear")
data = np.array([1, 2, ], dtype=np.float32)
print(client.infer_sample(data=data))

推理完成后,您可以停止Triton推理服务器并关闭客户端:

client.close()
triton.stop()

推理的输出应该是:

{'result': array([-1., -2.], dtype=float32)}

有关完整示例,包括定义模型并将其绑定到Triton服务器,请查看我们详细的快速入门说明。快速启动并运行您的模型,探索如何提供服务,并了解如何从客户端应用程序调用它

完整的示例代码可以在examples/linear_random_pytorch中找到。

示例

示例页面展示了使用PyTriton提供模型服务的各种案例。您可以找到运行PyTorch、TensorFlow2、JAX和简单Python模型的简单示例。此外,我们还准备了更高级的场景,如在线学习、多节点模型或使用PyTriton在Kubernetes上部署。每个示例都包含描述如何构建和运行示例的说明。通过查看我们的示例,了解更多关于如何使用PyTriton。

有用链接

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

问小白

问小白是一个基于 DeepSeek R1 模型的智能对话平台,专为用户提供高效、贴心的对话体验。实时在线,支持深度思考和联网搜索。免费不限次数,帮用户写作、创作、分析和规划,各种任务随时完成!

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

Trae

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号