访问官网
Github
Huggingface项目概述
Noromaid-13B-v0.3-GGUF是一个由IkariDev和Undi创建的大语言模型的GGUF格式版本。该项目由TheBloke进行量化处理,旨在让模型能够在不同硬件设备上高效运行。
模型特点
- 基于Llama 2架构开发
- 采用Alpaca提示模板格式
- 提供多种量化版本,满足不同设备和场景需求
- 支持CPU和GPU混合推理
- 遵循cc-by-nc-4.0开源协议
量化版本选择
该项目提供了多种量化版本供用户选择:
- Q2_K版本(5.43GB):体积最小但质量损失较大
- Q3_K系列(5.66GB-6.93GB):体积小但有明显质量损失
- Q4_K系列(7.42GB-7.87GB):中等大小,推荐Q4_K_M版本
- Q5_K系列(8.97GB-9.23GB):较大体积,质量损失小
- Q6_K版本(10.68GB):体积大但质量损失极小
- Q8_0版本(13.83GB):最大体积,基本无质量损失
使用方法
该模型支持多种运行环境:
- 可通过llama.cpp实现命令行交互
- 支持text-generation-webui等图形界面
- 可集成到Python代码中使用
- 支持LangChain框架调用
- 兼容GPT4All、LM Studio等多种客户端
技术支持
项目提供多种支持渠道:
- Discord社区提供实时交流
- Patreon平台接受赞助支持
- 由andreessen horowitz(a16z)提供资金支持
- 硬件支持来自Massed Compute
模型部署建议
- 建议选择Q4_K_M版本作为首选,在性能和质量间取得平衡
- GPU加速时可根据显存大小调整offload层数
- 系统资源有限时可选择更轻量的Q2_K或Q3_K版本
- 追求最高质量可使用Q6_K或Q8_0版本
