访问官网
Github
Huggingface项目概述
这是一个基于Ministral-8B-Instruct-2410模型的量化版本项目。该项目提供了多种不同量化类型的模型文件,让用户可以根据自己的硬件条件和需求选择合适的版本。
技术特点
- 基于llama.cpp b3930版本进行量化处理
- 使用imatrix选项进行量化
- 支持在LM Studio中运行
- 提供标准提示词格式:
<s>[INST]{prompt}[/INST]
模型版本说明
该项目提供了多个不同量化类型的模型文件,主要包括:
- F16版本: 完整的F16权重,文件大小16.05GB
- Q8_0版本: 最高质量的量化版本,文件大小8.53GB
- Q6系列: 包括Q6_K_L和Q6_K,质量接近完美,推荐使用
- Q5系列: 包括Q5_K_L、Q5_K_M和Q5_K_S,具有较高质量,推荐使用
- Q4系列: 包括Q4_K_L、Q4_K_M等,质量良好,适合大多数使用场景
- Q3系列: 如Q3_K_XL,质量较低但仍可使用,适合低内存设备
- IQ4系列: 如IQ4_XS,在较小文件体积下保持不错的性能表现
使用建议
- 对于追求最高质量的用户,推荐使用Q6系列
- 对于普通使用场景,Q4_K_M版本是较好的选择
- 对于内存受限的设备,可以考虑Q3系列或IQ4系列
- ARM设备用户应选择专门优化的Q4_0系列版本
- 不建议在Mac或Windows上使用ARM优化版本
语言支持
该模型支持多种语言,包括:
- 英语
- 法语
- 德语
- 西班牙语
- 意大利语
- 葡萄牙语
- 中文
- 日语
- 俄语
- 韩语
