ExUI
这是一个简单、轻量级的基于浏览器的用户界面,用于使用 ExLlamaV2 进行本地推理。
功能概览
- 友好、响应迅速且简约的用户界面
- 持久会话
- 多种指令格式
- 推测性解码
- 支持 EXL2、GPTQ 和 FP16 模型
- 记事本模式
截图
本地运行
首先,克隆此仓库并安装依赖:
git clone https://github.com/turboderp/exui
cd exui
pip install -r requirements.txt
然后使用包含的 server.py 运行 Web 服务器:
python server.py
您的浏览器应该会自动在默认 IP/端口打开。配置和会话默认存储在 ~/exui
目录中。
ExLlamaV2 的预构建 wheel 包可在这里获取。建议安装最新版本的 Flash Attention。
在 Google Colab 中运行
提供了一个示例 Colab 笔记本,可以在这里找到。
安装
更详细的安装说明可以在这里找到。
更多内容即将推出
敬请期待。