热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#GPTQ算法
AutoGPTQ入门学习资料汇总 - 基于GPTQ算法的易用LLM量化工具包
1 个月前
AutoGPTQ是一个基于GPTQ算法的易用型大语言模型量化工具包。本文汇总了AutoGPTQ的学习资料,包括项目介绍、安装方法、使用教程等,帮助读者快速入门和使用AutoGPTQ。
AutoGPTQ
GPTQ算法
量化模型
推理速度
安装指南
Github
开源项目
1 个月前
AutoGPTQ: 一个用户友好的大型语言模型量化工具包
2 个月前
AutoGPTQ是一个基于GPTQ算法的易用型大型语言模型量化工具包,具有用户友好的API,可以帮助用户更轻松地对LLM进行量化和推理。
AutoGPTQ
GPTQ算法
量化模型
推理速度
安装指南
Github
开源项目
2 个月前
相关项目
AutoGPTQ
AutoGPTQ是基于GPTQ算法的LLM量化工具包,支持多种模型类型和硬件平台的推理优化,整合Marlin与Exllama内核,提升推理速度与性能,适合在资源受限环境中部署高效的语言模型。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号