<div align="center">
<img src="https://yellow-cdn.veclightyear.com/2b54e442/f594b34d-5d55-4b89-848e-d60d027f97f6.jpg" alt="icon" height="160"/>
<h1 align="center">ChatLLM Web</h1>
<h2 align="center">🚀 查看 AI 搜索引擎 https://discovai.io,发现最适合你需求的顶级 AI 工具</h2>
English / [简体中文](./docs/README_CN.md) / [日本語](./docs/README_JA.md)
🗣️ 在浏览器中使用 WebGPU 与 LLM 例如 Vicuna 进行安全、私密、无服务器的聊天。由 [web-llm](https://github.com/mlc-ai/web-llm) 提供技术支持。
[立即试用](https://chat-llm-web.vercel.app)
![cover](https://yellow-cdn.veclightyear.com/2b54e442/10049750-fa57-477f-8567-94f7b3484a92.png)
</div>
## 功能特点
- 🤖 所有操作均在浏览器内进行,**无需服务器支持**,并且 **WebGPU 加速**。
- ⚙️ 模型运行在 web worker 中,确保界面不卡顿,提供流畅的体验。
- 🚀 一键免费部署到 Vercel,1 分钟内即可拥有属于你的 ChatLLM Web。
- 💾 支持模型缓存,模型只需下载一次。
- 💬 多对话聊天,所有数据本地保存在浏览器中,确保隐私。
- 📝 支持 Markdown 和流式响应:数学公式、代码高亮等。
- 🎨 响应式精美设计的 UI,包括暗黑模式。
- 💻 支持 PWA,可下载后完全离线运行。
## 使用说明
- 🌐 使用此应用需要支持 WebGPU 的浏览器,如 Chrome 113 或 Chrome Canary。Chrome 版本 ≤ 112 不支持。
- 💻 你需要拥有大约 6.4GB 显存的 GPU。如果显存较少,应用仍可运行,但响应时间会较慢。
- 📥 第一次使用应用时需要下载模型。我们目前使用的 Vicuna-7b 模型下载大小约为 4GB。初次下载后,模型将从浏览器缓存中加载以加快使用速度。
- ℹ️ 更多详情请访问 [mlc.ai/web-llm](https://mlc.ai/web-llm/)
## 路线图
- [✅] LLM:使用 web worker 创建 LLM 实例并生成回答。
- [✅] 对话:支持多对话功能。
- [✅] PWA
- [] 设置:
- UI:暗黑/亮色主题
- 设备:
- GPU 设备选择
- 缓存使用和管理
- 模型:
- 支持多模型:vicuna-7b✅ RedPajama-INCITE-Chat-3B []
- 参数配置:温度、最大长度等。
- 导出 & 导入模型
## 部署到 Vercel
1. 点击
[![Deploy with Vercel](https://vercel.com/button)](https://vercel.com/new/clone?repository-url=https%3A%2F%2Fgithub.com%2FRyan-yang125%2FChatLLM-Web&project-name=chat-llm-web&repository-name=ChatLLM-Web),按照说明操作,1 分钟内完成。
2. 畅享体验 😊
## 开发
```shell
git clone https://github.com/Ryan-yang125/ChatLLM-Web.git
cd ChatLLM-Web
npm i
npm run dev
截图
🌟 历史
许可证
MIT