#Rombos-LLM
Rombos-LLM-V2.6-Qwen-14b-GGUF - 基于llama.cpp的Qwen-14B量化模型集合
Rombos-LLM模型压缩llama.cpp量化GGUF模型GithubHuggingface开源项目
llama.cpp量化的Qwen-14B开源项目,通过imatrix方案优化生成多种GGUF格式模型文件。模型尺寸从2GB到29GB不等,覆盖Q2至F16多种量化精度,并针对不同硬件架构进行优化。项目提供完整的模型选择指南,方便本地部署时根据实际硬件环境选择合适版本。
Rombos-LLM-V2.6-Qwen-14b-Q8_0-GGUF - GGUF格式量化版大语言模型支持本地化高性能部署
Github开源项目代码部署llama.cppRombos-LLM模型转换GGUFHuggingface模型
本项目是Rombos-LLM-V2.6-Qwen-14b模型的GGUF格式版本,专为llama.cpp框架优化。提供详细的本地部署指南,包括brew安装和源码编译方法,支持命令行和服务器运行模式。基于transformers库开发,采用Apache-2.0许可证,适合需要在本地环境高效运行大型语言模型的应用场景。