PyTriton

欢迎使用PyTriton，这是一个类似于Flask/FastAPI的框架，旨在简化在Python环境中使用NVIDIA的Triton推理服务器。PyTriton使得部署机器学习模型变得简单，支持直接从Python进行部署。

有关如何部署模型、优化性能以及探索API的全面指导，请深入查阅我们文档中的丰富资源。

功能概览

PyTriton的独特功能总结在以下特性矩阵中：

了解更多关于PyTriton的架构。

先决条件

在安装PyTriton之前，请确保您的系统满足以下条件：

• 操作系统：兼容glibc版本2.35或更高。
  • 主要在Ubuntu 22.04上测试。
  • 其他支持的操作系统包括Debian 11+、Rocky Linux 9+和Red Hat UBI 9+。
  • 使用ldd --version验证您的glibc版本。
• Python：版本3.8或更新。
• pip：版本20.3或更新。
• libpython：确保安装了与您的Python版本相对应的libpython3.*.so。

安装

可以通过运行以下命令从pypi.org安装PyTriton：

pip install nvidia-pytriton

重要：Triton推理服务器二进制文件作为PyTriton包的一部分安装。

了解更多关于PyTriton的安装程序，包括Docker使用、先决条件，以及从源代码构建二进制文件以匹配您特定的Triton服务器版本的见解。

快速入门

快速入门展示了如何在Triton推理服务器中运行Python模型，无需更改当前工作环境。在示例中，我们使用一个简单的Linear模型。

infer_fn是一个接受data张量并返回包含单个输出张量的列表的函数。来自批处理装饰器的@batch用于处理模型的批处理。

import numpy as np
from pytriton.decorators import batch

@batch
def infer_fn(data):
    result = data * np.array([[-1]], dtype=np.float32)  # 处理输入并产生结果
    return [result]

在下一步中，您可以使用pyTriton的bind方法创建推理可调用和Triton推理服务器之间的绑定。此方法接受模型名称、推理可调用、输入和输出张量，以及可选的模型配置对象。

from pytriton.model_config import Tensor
from pytriton.triton import Triton
triton = Triton()
triton.bind(
    model_name="Linear",
    infer_func=infer_fn,
    inputs=[Tensor(name="data", dtype=np.float32, shape=(-1,)),],
    outputs=[Tensor(name="result", dtype=np.float32, shape=(-1,)),],
)
triton.run()

最后，您可以使用ModelClient类向模型发送推理查询。infer_sample方法接受输入数据作为numpy数组，并返回输出数据作为numpy数组。您可以在客户端部分了解更多关于ModelClient类的信息。

from pytriton.client import ModelClient

client = ModelClient("localhost", "Linear")
data = np.array([1, 2, ], dtype=np.float32)
print(client.infer_sample(data=data))

推理完成后，您可以停止Triton推理服务器并关闭客户端：

client.close()
triton.stop()

推理的输出应该是：

{'result': array([-1., -2.], dtype=float32)}

有关完整示例，包括定义模型并将其绑定到Triton服务器，请查看我们详细的快速入门说明。快速启动并运行您的模型，探索如何提供服务，并了解如何从客户端应用程序调用它。

完整的示例代码可以在examples/linear_random_pytorch中找到。

示例

示例页面展示了使用PyTriton提供模型服务的各种案例。您可以找到运行PyTorch、TensorFlow2、JAX和简单Python模型的简单示例。此外，我们还准备了更高级的场景，如在线学习、多节点模型或使用PyTriton在Kubernetes上部署。每个示例都包含描述如何构建和运行示例的说明。通过查看我们的示例，了解更多关于如何使用PyTriton。

有用链接

• 更新日志
• 版本管理
• 贡献
• 已知问题