访问官网
Github
Huggingface
文档LlamaGPT：一款自托管、离线的ChatGPT替代品
LlamaGPT是一个基于Llama 2模型的自托管、离线运行的聊天机器人项目。它提供了类似ChatGPT的对话体验，但完全私密，所有数据都保存在用户自己的设备上，不会外传。该项目由Umbrel团队开发，最新版本已支持Code Llama模型和NVIDIA GPU。
主要特点
- 100%私密：所有数据都在本地处理，不会离开用户设备
- 离线运行：无需互联网连接即可使用
- 自托管：用户可以在自己的设备上部署和运行
- 多种模型支持：包括Llama 2和Code Llama系列模型
- 兼容OpenAI API：提供与OpenAI API兼容的接口
支持的模型
LlamaGPT目前支持多种Llama 2和Code Llama模型，包括:
- Nous Hermes Llama 2系列(7B、13B、70B)
- Code Llama系列(7B、13B)
- Phind Code Llama 34B
这些模型的大小从3.79GB到38.87GB不等，运行所需内存从6.29GB到41.37GB不等。
安装方式
LlamaGPT提供了多种安装方式:
- 在umbrelOS家庭服务器上一键安装
- 在M1/M2 Mac上通过Docker安装
- 在任何支持Docker的系统上安装
- 通过Kubernetes部署
安装过程简单，只需几个命令即可完成。不同型号的设备和不同大小的模型，其运行速度会有所差异。
OpenAI兼容API
LlamaGPT还提供了与OpenAI API兼容的接口，可以在http://localhost:3001访问。这让开发者可以轻松将现有的基于OpenAI API的应用迁移到LlamaGPT上。
未来发展
LlamaGPT的开发团队正在积极开发新功能，包括:
- 支持加载自定义模型
- 允许用户在不同模型间切换
- 进一步优化性能
该项目欢迎开发者参与贡献，特别是在这些新功能的开发上。
总的来说，LlamaGPT为用户提供了一个强大、灵活且注重隐私的AI聊天解决方案。无论是个人用户还是开发者，都可以轻松部署和使用这个开源项目，享受类似ChatGPT的AI对话体验。
