#TheBloke
MythoMax-L2-13B-GPTQ - 多样化GPTQ参数选择，满足多种硬件配置需求
量化模型GPTQ角色扮演TheBlokeMythoMax L2 13B模型Github开源项目Huggingface
MythoMax L2 13B提供多种GPTQ量化配置，适用于多种硬件环境，提升模型性能。用户可选择不同分支进行下载，包括4-bit和8-bit版本，支持VRAM高效利用和精确推理。该项目兼容多种平台如ExLlama、AutoGPTQ和Huggingface的Text Generation Inference，为AI开发者提供灵活的工具和高效的解决方案。
dolphin-2.0-mistral-7B-GGUF - 开源语言模型Dolphin Mistral的GGUF量化版本
TheBloke开源项目GGUF量化模型Mistral 7B模型HuggingfaceGithubLLM
Dolphin-2.0-mistral-7B的GGUF格式模型提供多个量化版本,从2比特到8比特不等。模型支持CPU和GPU推理,可在llama.cpp等框架上运行。采用ChatML提示模板格式,适用于文本生成和对话任务。项目提供完整使用文档,支持多种部署方式。