ONNX Runtime generate() API

使用ONNX Runtime运行Llama、Phi、Gemma和Mistral。

该API为您提供了一种简单、灵活且高性能的方式在设备上运行LLM。

它为ONNX模型实现了生成式AI循环，包括预处理和后处理、使用ONNX Runtime进行推理、logits处理、搜索和采样，以及KV缓存管理。

您可以调用高级generate()方法一次性生成所有输出，或者逐个标记流式输出。

详细文档请参见https://onnxruntime.ai/docs/genai。

* Llama模型架构支持类似的模型系列，如CodeLlama、Vicuna、Yi等。

+ Mistral模型架构支持类似的模型系列，如Zephyr。

^ 需要从源代码构建

安装

请参见https://onnxruntime.ai/docs/genai/howto/install

Python中Phi-3的示例代码

1. 下载模型

   huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
   

2. 安装API

   pip install numpy
   pip install --pre onnxruntime-genai
   

3. 运行模型

   import onnxruntime_genai as og
   
   model = og.Model('cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4')
   tokenizer = og.Tokenizer(model)
   tokenizer_stream = tokenizer.create_stream()
    
   # 默认将最大长度设置为合理的值，
   # 否则它将被设置为整个上下文长度
   search_options = {}
   search_options['max_length'] = 2048
   
   chat_template = '<|user|>\n{input} <|end|>\n<|assistant|>'
   
   text = input("输入：")
   if not text:
      print("错误，输入不能为空")
      exit
   
   prompt = f'{chat_template.format(input=text)}'
   
   input_tokens = tokenizer.encode(prompt)
   
   params = og.GeneratorParams(model)
   params.set_search_options(**search_options)
   params.input_ids = input_tokens
   generator = og.Generator(model, params)
   
   print("输出：", end='', flush=True)
   
   try:
      while not generator.is_done():
        generator.compute_logits()
        generator.generate_next_token()
   
        new_token = generator.get_next_tokens()[0]
        print(tokenizer_stream.decode(new_token), end='', flush=True)
   except KeyboardInterrupt:
       print("  --按下control+c，中止生成--")
   
   print()
   del generator
   

路线图

请查看讨论区提出新功能请求并为现有请求投票。

贡献

本项目欢迎贡献和建议。大多数贡献都要求您同意一份贡献者许可协议（CLA），声明您有权利，并实际上确实授予我们使用您贡献的权利。有关详细信息，请访问https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA机器人会自动确定您是否需要提供CLA，并适当地装饰PR（例如，状态检查、评论）。只需按照机器人提供的说明操作即可。您只需在所有使用我们CLA的存储库中执行一次此操作。

本项目已采用Microsoft开源行为准则。 有关更多信息，请参阅行为准则常见问题解答或 联系opencode@microsoft.com获取任何其他问题或意见。

商标

本项目可能包含项目、产品或服务的商标或徽标。Microsoft 商标或徽标的授权使用必须遵循 Microsoft的商标和品牌指南。 在本项目的修改版本中使用Microsoft商标或徽标不得引起混淆或暗示Microsoft赞助。 任何第三方商标或徽标的使用都必须遵守这些第三方的政策。