热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Rust绑定
llama_cpp-rs - Rust绑定库实现GGUF大语言模型CPU运行
llama_cpp-rs
Rust绑定
大语言模型
GGUF
CPU运行
Github
开源项目
llama_cpp-rs是一个Rust绑定库,用于在CPU上运行GGUF大语言模型。它提供简洁的API,支持快速模型加载和文本生成。该项目兼容CUDA、Vulkan等后端,并包含内存预测功能。llama_cpp-rs简化了大语言模型的使用流程,适合各层级开发者。
1
1
相关文章
llama_cpp-rs: Rust语言的高性能LLM推理库
3 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号