HuggingfaceMistral-Small-Instruct-2409项目介绍
Mistral-Small-Instruct-2409是一个由Mistral AI公司开发的指令微调大语言模型。该模型具有以下主要特点:
模型规模与能力
- 拥有220亿参数,属于中等规模模型
- 词汇表扩展到32768个token
- 支持函数调用功能
- 最大序列长度可达32k个token
使用方法
该模型提供了多种使用方式:
vLLM部署(推荐)
vLLM是一个高性能的大语言模型推理库,推荐用于生产环境部署。使用时需要安装vLLM库和mistral_common库。
可以通过以下方式使用:
- 离线方式:直接在Python代码中加载模型进行推理
- 服务器-客户端方式:启动vLLM服务器,然后通过HTTP请求调用
Mistral-inference快速体验
Mistral-inference是Mistral AI提供的推理工具,适合快速试用和体验模型。
提供了命令行聊天界面,以及Python代码调用的方式。支持指令跟随和函数调用等功能。
Hugging Face Transformers使用
也可以使用广泛应用的Transformers库加载模型,支持各种聊天模板,也可以进行微调。
模型许可
该模型使用Mistral AI Research License发布,仅限非商业研究用途使用。商业用途需要单独获得Mistral AI的授权。
开发团队
该模型由Mistral AI公司的研发团队开发,团队成员包括Albert Jiang、Alexandre Sablayrolles、Alexis Tacnet等多位专家。
总的来说,Mistral-Small-Instruct-2409是一个功能强大、使用灵活的中型指令微调语言模型,为研究人员提供了一个优秀的AI助手和研究工具。
