热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#cuBLAS
rwkv.cpp
该项目将RWKV-LM移植到ggerganov的ggml,支持FP32、FP16及量化的INT4、INT5和INT8推理,主要针对CPU使用,同时兼容cuBLAS。项目提供C库和Python封装。RWKV是一种不同于Transformer的大语言模型架构,只需前一步状态计算logits,适合长上下文使用。支持RWKV v5和v6模型以及LoRA检查点加载,适用于高质量和高性能需求的场景。
相关文章
RWKV.cpp: 高效的CPU推理实现RWKV语言模型
2 个月前
rwkv.cpp入门指南 - 用于RWKV语言模型的INT4/INT5/INT8和FP16 CPU推理
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号