#量化变量

本项目探讨了如何通过结合传统与现代量化技术提升Falcon 7B模型的性能与效率。虽然Falcon 40b模型已完全支持K-Quantisation，该方法还通过回退机制扩大以前不兼容模型层的支持范围。这样用户可以在文件大小不变的情况下提高输出质量或在更小的文件下保持性能。项目还讨论了gguf文件格式的应用，介绍了当前支持该格式的软件和多种量化文件选项。