#模型格式
Mixtral-8x7B-v0.1-GGUF - Mixtral模型的多平台兼容量化文件
Github开源项目模型Mistral AI推理量化Huggingface模型格式Mixtral 8X7B
Mixtral GGUF模型文件采用新量化格式，支持2至8位模型，适用于多平台的CPU和GPU推理。文件兼容llama.cpp、KoboldCpp和LM Studio等平台。由Mistral AI创建，Apache-2.0协议许可，支持多语言，高效推理。
WizardLM-1.0-Uncensored-CodeLlama-34B-GGUF - GGUF格式提供AI应用的新选择
Github开源项目模型量化AI助手模型Huggingface模型格式量化方法WizardLM 1.0 Uncensored CodeLlama 34B
GGUF格式由llama.cpp团队在2023年8月推出，旨在取代不再支持的GGML格式。新格式提升了分词能力，支持特殊标记并包含元数据，设计得更加可扩展。多个客户端和库已兼容GGUF格式，例如llama.cpp、text-generation-webui和KoboldCpp等，为用户提供了更强大的AI模型选择和应用功能。此外，该项目包含具有不同量化参数的AWQ和GPTQ模型，用于GPU推理，并支持多位GGUF模型文件，以满足不同的应用场景需求。
deepseek-coder-6.7B-instruct-GGUF - Deepseek全新GGUF格式 高效代码智能助手专注计算机科学
Github开源项目模型量化GPU加速Huggingface计算机科学模型格式Deepseek Coder 6.7B Instruct
DeepSeek引入新型GGUF格式，提供高效代码助手，专注计算机科学问题。该模型经Massed Compute硬件进行量化优化，兼容llama.cpp、text-generation-webui及KoboldCpp等多种框架，并支持GPU加速。用户能接触到从小尺寸到高保真度的量化模型文件，多样化应用场景支持丰富。资源库还提供未量化的DeepSeek原始fp16模型及适用于GPU推理的AWQ和GPTQ模型。
CodeLlama-13B-GGUF - GGUF格式的创新特点与适用范围
Github开源项目机器学习模型量化HuggingfaceMeta模型格式CodeLlama 13B
Meta推出的GGUF格式替代了GGML，优化了编码生成的效能和兼容性。它增强了标记处理和元数据支持，并适用于多种程序和库，如llama.cpp和text-generation-webui。这种格式推动了编码模型的发展，提供了便于GPU加速和降低内存需求的量化模型，提升了开发者的灵活性和解决方案质量。
guanaco-65B-GGUF - 解析新型GGUF格式及其多平台兼容性
Github开源项目模型量化GPU加速Huggingface模型格式Tim DettmersGuanaco 65B
此项目涵盖了2023年8月21日由llama.cpp团队推出的GGUF格式，作为已停用的GGML格式的替代方案。该项目提供了多种比特的量化文件，适用于CPU和GPU的推理需求。用户能够通过多种客户端和库，如llama.cpp和text-generation-webui，下载并高效使用这些模型，提供本地及网络接口支持。所支持的量化方法包括GGML_TYPE_Q4_K，提供质量与性能的平衡。
Llama-3.2-3B-Instruct-uncensored-GGUF - 高效文本生成的前沿模型格式
Github开源项目文本生成模型量化GPU加速Huggingface模型格式Llama-3.2-3B-Instruct-uncensored-GGUF
Llama-3.2-3B-Instruct-uncensored-GGUF采用了最新的GGUF格式，替代了不再支持的GGML，提升了大规模文本生成的性能。它兼容多种客户端与库，从llama.cpp到进阶GPU工具，包括Python库和用户友好的图形界面，如LM Studio和text-generation-webui，以及适用于故事创作的KoboldCpp。此更新提升了模型推理效率，具有广泛的兼容性，适用于多种系统平台，实现快速响应与多功能扩展。
guanaco-33B-GGUF - Guanaco 33B模型的高效量化格式，支持多平台部署
Github开源项目模型量化GPU加速Huggingface模型格式Guanaco 33BTim Dettmers
该项目提供的GGUF格式量化模型文件针对Guanaco 33B进行了优化，适用于多种平台，包括llama.cpp和text-generation-webui。作为GGML的替代格式，GGUF引入了改良的量化方法，支持2到8位的量化，满足各种硬件资源需求。其优势在于提高AI推理性能与效率，并支持GPU加速，适合对AI生成及推理质量有较高要求的应用场景。