热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#bitsandbytes
bitsandbytes: 让大型语言模型更易接近的量化工具
2 个月前
bitsandbytes是一个轻量级的Python库,通过k位量化技术为PyTorch提供了访问大型语言模型的便捷方式。它包含8位优化器、矩阵乘法和量化函数等CUDA自定义功能的封装,可以显著降低模型的内存占用,让更多人能够在有限硬件资源下使用大型语言模型。
bitsandbytes
CUDA
量化
优化器
硬件后端
Github
开源项目
2 个月前
相关项目
bitsandbytes
bitsandbytes是一个轻量级Python库,为CUDA自定义函数提供封装。该库主要提供8位优化器、矩阵乘法(LLM.int8())以及8位和4位量化功能。通过bitsandbytes.nn模块实现多位线性层,bitsandbytes.optim模块提供优化器。目前正在拓展对更多硬件后端的支持,包括Intel CPU+GPU、AMD GPU和Apple Silicon,Windows平台的支持也在开发中。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号