热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#TinyLLM
TinyLLM: 在消费级硬件上运行本地大语言模型和聊天机器人
2 个月前
TinyLLM是一个帮助你在消费级硬件上构建小型本地大语言模型(LLM)和ChatGPT风格网页界面的项目。它支持多种LLM,通过Ollama、llama.cpp或vLLM提供本地OpenAI API兼容的Web服务,并提供可定制提示、访问外部网站、向量数据库等功能的聊天机器人Web界面。
TinyLLM
Ollama
llama.cpp
vLLM
ChatGPT
Github
开源项目
2 个月前
相关项目
TinyLLM
该项目帮助用户在消费级硬件上构建小型本地LLM,并提供类似ChatGPT的网页界面。支持通过Ollama、llama-cpp-python和vLLM搭建兼容OpenAI API的服务,允许访问外部网站、矢量数据库等。具备详尽的硬件要求和模型下载链接,方便用户快速上手并使用自定义提示进行互动。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号