#Zephyr-7B
zephyr-7B-beta-GGUF - 专注对话场景的开源大语言模型
人工智能Github开源项目模型量化LLM模型HuggingfaceGGUFZephyr-7B
Zephyr-7B-beta是Hugging Face H4团队基于Mistral-7B-v0.1开发的开源大语言模型。通过UltraChat和UltraFeedback数据集微调,该模型在对话场景中表现出色。采用MIT许可证发布,支持英语并可用于多种推理任务。开发者可使用提供的prompt模板与模型交互,探索其对话生成能力。
zephyr-7B-alpha-AWQ - Zephyr 7B模型AWQ量化版支持轻量级推理部署
Github开源项目文本生成深度学习模型量化模型HuggingfaceAWQZephyr-7B
Zephyr 7B Alpha是一个基于Mistral-7B训练的对话助手模型。本版本采用AWQ量化技术将模型压缩至4位精度,使用wikitext数据集和128g量化参数进行优化。相比GPTQ,AWQ量化能提供更快的推理速度,同时显著降低显存占用,使模型可以在配置较低的GPU上高效部署运行。