热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Tiger-Gemma-9B-v3
Tiger-Gemma-9B-v3-GGUF - ARM推理优化与量化模型文件的综合指南
Github
开源项目
llama.cpp
模型
量化
Huggingface
模型下载
质量优化
Tiger-Gemma-9B-v3
Tiger-Gemma-9B-v3-GGUF项目提供了一系列专为ARM推理优化的量化模型文件,格式涵盖f16至Q2_K。项目采用llama.cpp的imatrix方法确保模型的输出和嵌入权重高精度,并允许通过huggingface-cli灵活下载文件。用户可根据设备资源选择'I-quant'或'K-quant'格式,以平衡高性能和空间效率,适用于文本生成任务的开发与研究。
1
1
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号