ONNX Runtime generate() API: 高性能本地运行大型语言模型的解决方案

onnxruntime-genai

ONNX Runtime generate() API简介

ONNX Runtime generate() API是微软开发的一个开源项目,旨在为开发者提供一种简单、灵活且高性能的方式在本地设备上运行大型语言模型(LLM)。该API实现了生成式AI的完整流程,包括预处理、推理、logits处理、搜索采样以及KV缓存管理等。

通过ONNX Runtime generate() API,开发者可以轻松地在各种设备和平台上部署和运行当前流行的LLM模型,如Llama、Phi、Gemma、Mistral等。它不仅支持一次性生成全部输出,还可以实现逐个token的流式输出,为开发者提供了极大的灵活性。

主要特性

支持多种模型架构:目前已支持Gemma、Llama、Mistral、Phi(语言+视觉)、Qwen等模型架构,未来还将支持更多模型。
多语言API:提供Python、C#、C/C++、Java等多种编程语言的API,满足不同开发者的需求。
跨平台支持:可在Linux、Windows、Mac等多个操作系统上运行。
硬件加速:支持CUDA、DirectML等硬件加速方案,充分利用GPU性能。
高性能:经过优化的推理引擎,可实现快速、高效的模型运行。
灵活性:既可一次性生成全部输出,也支持逐token的流式输出。

安装使用

ONNX Runtime generate() API的安装非常简单,以Python为例:

pip install numpy
pip install onnxruntime-genai

安装完成后,只需几行代码即可运行复杂的LLM模型:

import onnxruntime_genai as og

model = og.Model('model_path')
tokenizer = og.Tokenizer(model)

params = og.GeneratorParams(model)
params.input_ids = tokenizer.encode("Your prompt here")

generator = og.Generator(model, params)

while not generator.is_done():
    generator.compute_logits()
    generator.generate_next_token()
    print(tokenizer.decode(generator.get_next_tokens()[0]), end='', flush=True)

未来发展

ONNX Runtime generate() API团队正在积极开发更多新功能,包括:

支持更多模型架构,如Whisper和Stable Diffusion
开发iOS平台支持
添加QNN、ROCm、OpenVINO等硬件加速方案
实现交互式解码和模型定制(微调)功能
开发推测性解码等高级特性

结语

ONNX Runtime generate() API为开发者提供了一个强大的工具,使在本地设备上运行大型语言模型变得简单而高效。无论是构建聊天机器人、文本生成应用还是其他AI驱动的解决方案,ONNX Runtime generate() API都能为您提供所需的性能和灵活性。随着项目的不断发展和完善,我们可以期待它在未来为生成式AI应用开发带来更多可能性。

Image 1: Latest version