热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#TinyLLM
TinyLLM - 在本地硬件上构建小型LLM,支持多种模型和ChatGPT界面
TinyLLM
Ollama
llama.cpp
vLLM
ChatGPT
Github
开源项目
该项目帮助用户在消费级硬件上构建小型本地LLM,并提供类似ChatGPT的网页界面。支持通过Ollama、llama-cpp-python和vLLM搭建兼容OpenAI API的服务,允许访问外部网站、矢量数据库等。具备详尽的硬件要求和模型下载链接,方便用户快速上手并使用自定义提示进行互动。
1
1
相关文章
TinyLLM: 在消费级硬件上运行本地大语言模型和聊天机器人
2024年09月02日
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号