热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Qwen2.5-Math-72B-Instruct
Qwen2.5-Math-72B-Instruct-GGUF - Llamacpp在Qwen2.5-Math代码量化中的应用
Github
开源项目
Hugging Face
模型
性能
量化
Huggingface
ARM芯片
Qwen2.5-Math-72B-Instruct
项目应用llama.cpp对Qwen2.5-Math模型进行量化,提供多种量化格式以适应不同硬件配置。更新包括改进的分词器,涵盖高至极低质量的量化文件,适用于不同RAM和VRAM需求,并支持在ARM芯片上运行。使用K-quant和I-quant等量化方法,有助于优化模型性能与速度。下载和安装可通过huggingface-cli实现,灵活快捷。
1
1
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号