MiniLMv2-agentflow-v2-onnx - MiniLMv2-ONNX模型帮助文本分类和LLM事件识别

MiniLMv2-agentflow-v2-onnx项目介绍

项目概述

MiniLMv2-agentflow-v2-onnx是一个基于ONNX格式量化的文本分类模型，用于识别大语言模型（LLM）在对话中的常见事件和模式。这些事件包括对错误的道歉，即LLM在承认错误时的表达方式。该模型提供的流标识可以为复杂的LLM分析提供基础元素。

该模型是从MiniLMv2-L6-H384微调而来的，主要应用于LLM代理文本，而非用户文本。如果需要处理用户文本，可以使用另一个专用的模型。

主要功能

MiniLMv2-agentflow-v2-onnx通过分类来判断对话中不同的LLM代理事件，如：

道歉错误误解：当代理承认在信息提供或请求处理方面出现错误或误解时会标识为这种情况。
不理解：指代理没有理解用户的请求或问题。
拒绝回答：因政策限制或道德考虑，代理拒绝回答问题或履行请求。
成功并提供后续帮助：代理成功提供了所需信息或服务，并提供进一步帮助或后续行动选择。

这些分类帮助用户更好地理解和分析对话中的LLM代理行为。

使用说明

安装Optimum工具

Optimum是一个优化器，支持ONNX模型的推理。安装方法如下：

python -m pip install optimum[onnxruntime]@git+https://github.com/huggingface/optimum.git

运行模型

可以通过以下Python代码快速运行模型，以便于将文本输入进行分类：

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer, pipeline

model = ORTModelForSequenceClassification.from_pretrained('minuva/MiniLMv2-agentflow-v2-onnx', provider="CPUExecutionProvider")
tokenizer = AutoTokenizer.from_pretrained('minuva/MiniLMv2-agentflow-v2-onnx', use_fast=True, model_max_length=256, truncation=True, padding='max_length')

pipe = pipeline(task='text-classification', model=model, tokenizer=tokenizer, )
texts = ["My apologies", "Im not sure what you mean"]
pipe(texts)

输出结果会提供每条输入文本的标签和对应的可信度评分。