热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Rockchip芯片
rknn-llm - 瑞芯微芯片大语言模型部署软件栈
RKLLM
AI模型部署
Rockchip芯片
模型转换
大语言模型
Github
开源项目
rknn-llm是瑞芯微芯片专用的大语言模型部署软件栈,包含模型转换工具RKLLM-Toolkit、运行时库RKLLM Runtime和RKNPU内核驱动。支持RK3588和RK3576系列平台,兼容TinyLLAMA、Qwen、Phi、ChatGLM3等多种主流大语言模型。该项目注重性能优化和量化精度提升,持续增加新功能,为开发者提供高效的AI模型部署方案。
1
1
相关文章
RKNN-LLM:瑞芯微AI芯片上的大语言模型部署解决方案
3 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号