热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#cuBLAS
rwkv.cpp入门指南 - 用于RWKV语言模型的INT4/INT5/INT8和FP16 CPU推理
1 个月前
rwkv.cpp是一个专注于CPU上运行RWKV语言模型的开源项目,支持INT4/INT5/INT8和FP16量化推理。本文汇总了该项目的学习资料和使用指南,帮助读者快速上手。
RWKV
ggml
cuBLAS
hipBLAS
Python
Github
开源项目
1 个月前
RWKV.cpp: 高效的CPU推理实现RWKV语言模型
2 个月前
RWKV.cpp是一个专注于CPU推理的RWKV语言模型实现,支持INT4/INT5/INT8和FP16量化,大幅提升了RWKV模型在CPU上的推理效率。
RWKV
ggml
cuBLAS
hipBLAS
Python
Github
开源项目
2 个月前
相关项目
rwkv.cpp
该项目将RWKV-LM移植到ggerganov的ggml,支持FP32、FP16及量化的INT4、INT5和INT8推理,主要针对CPU使用,同时兼容cuBLAS。项目提供C库和Python封装。RWKV是一种不同于Transformer的大语言模型架构,只需前一步状态计算logits,适合长上下文使用。支持RWKV v5和v6模型以及LoRA检查点加载,适用于高质量和高性能需求的场景。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号