热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#c++实现
FastLLM: 高性能全平台大语言模型加速库
1 个月前
FastLLM是一个纯C++实现的全平台大语言模型加速库,支持Python调用,可在各种设备上高效运行ChatGLM、LLaMA等多种基座模型,实现快速推理和部署。
fastllm
大模型推理
多平台
c++实现
GPU加速
Github
开源项目
1 个月前
相关项目
fastllm
fastllm是一个纯C++实现的大语言模型推理库,无第三方依赖,支持多平台部署。这个开源项目具有快速的推理速度,支持多种模型格式,可实现多卡部署和流式输出。fastllm兼容ChatGLM、Qwen、LLAMA等多种模型,提供Python接口和自定义模型结构功能。该项目适用于需要高效、灵活部署大语言模型的场景。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号