Huggingface项目简介
falcon-180B-i1-GGUF项目是基于tiiuai/falcon-180B构建的一个模型项目，主要由mradermacher完成量化。该模型使用了多个语言数据集，包括英文、德文、西班牙文和法文等，集成于transformers库中。使用者需要同意Falcon-180B TII许可证和可接受使用政策后，才能访问该模型存储库。
使用指南
若用户对如何使用GGUF文件不太确定，可参照TheBloke的说明文档，以获取更详细的信息。这些文档将介绍如何处理多部分文件的连接与使用方法。
提供的量化版本
项目提供了不同大小和类型的量化模型文件，可供用户选择。这些量化模型文件分为多个部分，用户可以根据需要选择合适的版本。其中，IQ-quants被认为常常优于相似大小的非IQ量化版本。以下是一些量化版本的例子：
- GGUF i1-IQ1_S: 38.4 GB，供紧急使用。
- GGUF i1-IQ1_M: 42.0 GB，主要用于紧急使用。
- GGUF i1-IQ2_XXS: 47.9 GB，常规用途。
- GGUF i1-Q4_K_M: 108.9 GB，快捷，推荐使用。
- GGUF i1-Q6_K: 147.6 GB，与静态Q6_K几乎相同。
这些文件的下载链接均已列出，方便用户获取和使用。
常见问题及模型请求
如果用户对模型有疑问或希望获取其他量化版本的模型，可以访问mradermacher的模型请求页面以获取更多信息或提出请求。
感谢
项目创立得到了nethype GmbH的大力支持，尤其是其服务器和工作站点的硬件升级，使项目负责人mradermacher能够在业余时间进行此项工作。此外，还特别感谢@nicoboss，其私人超级计算机的贡献，让项目得以提供更高质量的imatrix量化版本。
通过这些资源支持，falcon-180B-i1-GGUF项目为AI开发者和研究者提供了丰富而灵活的工具，助力于各类自然语言处理任务的开展。
