#静态量化

该项目提供多种量化文件类型和大小，满足不同用户需求，优化模型性能。用户可在mradermacher的Hugging Face页面获取IQ-quants与静态量化文件。有关GGUF文件的使用，建议查阅TheBloke的说明。本项目通过iMatrix文件，专注于高质量模型的量化，感谢nethype GmbH及nicoboss的硬件支持。