秘密羊驼
完全在浏览器中运行,全面保护隐私的LLM聊天机器人,支持Llama 3、Mistral和其他开源模型。
- 完全私密 = 您的对话数据永远不会离开您的电脑
- 在浏览器中运行 = 无需服务器,无需安装!
- 可离线工作
- 易用的界面,堪比ChatGPT,但适用于开源LLM
特别感谢webllm提供的推理引擎。
加入我们的Discord
系统要求
要运行此程序,您需要一个支持WebGPU的现代浏览器。根据caniuse,WebGPU支持以下浏览器:
- Google Chrome
- Microsoft Edge
Firefox也可以使用,但需要通过dom.webgpu.enabled标志手动启用。MacOS上的Safari也有WebGPU的实验性支持,可以通过WebGPU实验性功能启用。
除了WebGPU支持外,不同的模型可能还有特定的RAM要求。
立即体验
您可以在这里试用。
要自行编译React代码,请下载仓库,然后运行:
yarn
yarn build-and-preview
如果您想进行修改,可以使用支持实时重载的开发环境:
yarn
yarn dev
支持的模型
模型 | 模型大小 |
---|---|
TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k | 600MB |
Llama-3-8B-Instruct-q4f16_1 ⭐ | 4.3GB |
Phi1.5-q4f16_1-1k | 1.2GB |
Mistral-7B-Instruct-v0.2-q4f16_1 ⭐ | 4GB |
寻求贡献者
我们非常欢迎贡献者帮助改进界面、支持更多模型、加快初始模型加载时间并修复错误。