Phi-3-mini-4k-instruct-int4-ov

项目介绍：Phi-3-mini-4k-instruct-int4-ov

背景介绍

Phi-3-mini-4k-instruct-int4-ov是由Microsoft创建的一个模型，其基础模型是Phi-3-mini-4k-instruct。这个项目属于一个量化模型，具体来说，它将原始模型转化为OpenVINO™的中间表示格式（Intermediate Representation）并通过NNCF工具将权重压缩为INT4格式。

模型描述

Phi-3-mini-4k-instruct-int4-ov是一个高度优化的版本，旨在实现更高效的机器学习模型推理。通过将模型的权重压缩成INT4格式，实现了较大幅度的模型压缩，节省了存储空间并提升了计算效率。这使得模型在资源有限的设备上也能够高效运行。

量化参数

在模型量化过程中采用了特定的参数配置：

• 模式：int4_asym
• 比例：1
• 组大小：64

这些参数确保了模型在保持性能的同时，最大程度减少了数据冗余。关于量化的详细信息，可以参考OpenVINO的模型优化指南。

兼容性

此OpenVINO™ IR模型兼容以下版本：

• OpenVINO版本：2024.4.0及更高版本
• Optimum Intel版本：1.23.1及更高版本

模型推理步骤

1. 安装使用Optimum Intel与OpenVINO后端集成所需的软件包：

   pip install optimum[openvino]
   

2. 运行模型推理的基本代码示例：

   from transformers import AutoTokenizer
   from optimum.intel.openvino import OVModelForCausalLM
   
   model_id = "OpenVINO/Phi-3-mini-4k-instruct-int4-ov"
   tokenizer = AutoTokenizer.from_pretrained(model_id)
   model = OVModelForCausalLM.from_pretrained(model_id)
   
   inputs = tokenizer("What is OpenVINO?", return_tensors="pt")
   outputs = model.generate(**inputs, max_length=200)
   text = tokenizer.batch_decode(outputs)[0]
   print(text)
   

有关更多示例和可能的优化，可以参阅OpenVINO大型语言模型推理指南。

使用限制

有关模型使用的限制，请查看原始模型的说明。

法律信息

该模型以MIT许可证分发。具体细节可以在原始模型卡片中找到。

免责声明

Intel致力于尊重人权，并避免造成或助长对人权的不利影响。详细信息请参阅Intel全球人权原则。Intel的产品和软件仅用于不对人权造成或助长不利影响的应用。