热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#ChatLLM.cpp
chatllm.cpp学习资料汇总 - 纯C++实现的大型语言模型推理框架
1 个月前
本文汇总了chatllm.cpp项目的相关学习资料,包括项目介绍、使用教程、模型支持、RAG实现等方面的内容,帮助读者快速了解和上手这个强大的LLM推理框架。
ChatLLM.cpp
ggml
GPT模型
量化模型
CPU推理
Github
开源项目
1 个月前
ChatLLM.cpp: 高效的CPU大语言模型推理框架
2 个月前
ChatLLM.cpp是一个纯C++实现的大语言模型推理框架,支持多种模型在CPU上进行实时对话,具有内存效率高、支持量化推理等特点。
ChatLLM.cpp
ggml
GPT模型
量化模型
CPU推理
Github
开源项目
2 个月前
相关项目
chatllm.cpp
ChatLLM.cpp项目支持从1B到300B多种模型的高效推理,适用于本地电脑的实时聊天。通过优化的KV缓存和并行计算提升内存使用效率,并提供int4/int8量化以减少内存占用。该项目基于ggml库实现,支持Retrieval Augmented Generation、LoRA以及Python和JavaScript绑定等功能。发布了多种最新模型和工具调用,适合深度学习和自监督学习研究者。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号