热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Rust绑定
llama_cpp-rs: Rust语言的高性能LLM推理库
2 个月前
llama_cpp-rs是一个为Rust语言打造的高性能大语言模型推理库,它提供了安全、高级的Rust绑定,使开发者能够轻松地在CPU上运行基于GGUF格式的大型语言模型,无需机器学习经验即可快速上手。
llama_cpp-rs
Rust绑定
大语言模型
GGUF
CPU运行
Github
开源项目
2 个月前
相关项目
llama_cpp-rs
llama_cpp-rs是一个Rust绑定库,用于在CPU上运行GGUF大语言模型。它提供简洁的API,支持快速模型加载和文本生成。该项目兼容CUDA、Vulkan等后端,并包含内存预测功能。llama_cpp-rs简化了大语言模型的使用流程,适合各层级开发者。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号