热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#多模型兼容
InferLLM学习资料汇总 - 轻量级LLM模型推理框架
1 个月前
InferLLM是一个轻量级的LLM模型推理框架,可在CPU上高效部署量化LLM模型。本文汇总了InferLLM的相关学习资料,帮助开发者快速上手使用。
InferLLM
llama.cpp
模型推理
高效率
多模型兼容
Github
开源项目
1 个月前
InferLLM: 轻量级大语言模型推理框架
2 个月前
InferLLM是一个简单高效的大语言模型CPU推理框架,可以在本地部署量化模型并实现良好的推理速度。本文将详细介绍InferLLM的特点、使用方法以及支持的模型等内容。
InferLLM
llama.cpp
模型推理
高效率
多模型兼容
Github
开源项目
2 个月前
相关项目
InferLLM
InferLLM 是一个高效简洁的语言模型推理框架,源于 llama.cpp 项目。主要特点包括结构简单、高性能、易于上手,并支持多模型格式。目前兼容 CPU 和 GPU,可优化 Arm、x86、CUDA 和 riscv-vector,并支持移动设备部署。InferLLM 引入了专有 KVstorage 类型以简化缓存和管理,适合多种应用场景。最新支持的模型包括 LLama-2-7B、ChatGLM、Alpaca 等。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号