访问官网
Github
Huggingface
文档
论文Phi-3.5-mini-instruct项目介绍
项目概述
Phi-3.5-mini-instruct是微软推出的一个轻量级、先进的开放模型。它是Phi-3模型家族的一员,专注于高质量、推理密集的数据。该模型基于Phi-3使用的数据集构建,包括合成数据和经过筛选的公开可用网站数据。
模型特点
- 参数规模:3.8B参数
- 上下文长度:支持128K token的上下文长度
- 架构:密集解码器Transformer模型
- 多语言支持:支持23种语言,包括英语、中文、法语、德语等
- 训练数据:3.4万亿tokens,包括高质量公开数据、合成数据和监督微调数据
- 训练时间:在512块H100-80G GPU上训练了10天
性能表现
Phi-3.5-mini-instruct在多个基准测试中表现出色:
- 多语言能力:在多语言MMLU、MEGA等测试中,与参数量更大的模型相比具有竞争力
- 长文本处理:在长文本摘要、问答等任务上表现优异
- 推理能力:在常识推理和逻辑推理方面表现出色
应用场景
该模型适用于以下场景:
- 内存/计算受限的环境
- 对延迟要求高的场景
- 需要强大推理能力(尤其是代码、数学和逻辑)的应用
它可以作为生成式AI功能的基础构建块,加速语言和多模态模型的研究。
使用方法
使用transformers库可以轻松加载和使用该模型:
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-3.5-mini-instruct")
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-mini-instruct")
该模型最适合使用聊天格式的提示,如:
<|system|>
You are a helpful assistant.<|end|>
<|user|>
How to explain Internet for a medieval knight?<|end|>
<|assistant|>
负责任的AI考虑
尽管该模型经过了安全性后处理,但开发者在部署时仍需注意以下几点:
- 对不同语言的性能差异
- 可能产生不当或冒犯性内容
- 生成的信息可能不准确或过时
- 长对话中可能出现重复或不一致
- 不适合用于高风险场景
开发者应该遵循负责任的AI最佳实践,根据具体用例和文化语言背景进行风险评估和缓解。
总结
Phi-3.5-mini-instruct是一个强大而轻量的语言模型,在多语言处理、长文本理解和推理能力等方面表现出色。它为开发者提供了一个灵活的工具,可用于构建各种生成式AI应用。但在使用时,开发者需要注意模型的局限性,并采取适当的安全措施。
