访问官网
Github
Huggingface项目介绍：Mistral-Small-22B-ArliAI-RPMax-v1.1-GGUF
“Mistral-Small-22B-ArliAI-RPMax-v1.1-GGUF”是一个基于ArliAI/Mistral-Small-22B-ArliAI-RPMax-v1.1模型的量化版本，用于文本生成任务。此模型采用了llamacpp的最新发行版本进行量化，并支持在LM Studio中运行。
项目背景
模型的原始版本可以在Hugging Face平台找到，由bartowski进行量化。在量化过程中，使用了来自不同数据集的imatrix选项。
使用指南
-
提示格式: 使用如下格式输入提示：
<s>[INST] {prompt}[/INST] -
文件下载: 可从提供的链接选择性下载量化文件，而不需要下载整个分支。
不同量化版本及其特点
模型提供了多种量化版本，针对不同的使用情况，有以下几种选择：
- F16版本: 提供完整F16权重文件，尺寸较大。
- Q8_0版本: 高质量但一般不需要。
- Q6_K_L和Q6_K版本: 非常高质量，接近完美，推荐使用。
- Q5_K系列: 高质量版本，推荐使用。
- Q4_K系列: 良好质量，节省空间。
- Q3_K系列: 较低质量，适合低RAM条件下使用。
- I-quant版本: 采用新的技术方法，尽管质量稍低但能提供不错的性能。
选择合适的文件
为了选择合适的量化文件，用户需要考虑其拥有的RAM和VRAM容量。根据设备的性能及实际需求，可以选择适合的量化版本，例如I-quant或K-quant。
技术建议
- 对于使用ARM芯片的用户，Q4_0_X_X量化版本在速度上有显著提升。
- 获取不同版本和质量的更详细信息和性能对比，用户可以查看Artefact2提供的指南。
版权与支持
项目使用了特定的许可证（MRL），具体内容可在许可链接查看。如果对此项目感兴趣并希望支持作者的工作，可以访问bartowski的ko-fi页面。
通过这个模型，用户能在各种文本生成任务中享受到高效的性能表现，并根据硬件条件灵活选择适合的量化版本，轻松进行定制化的开发与应用。
