#ExLlamaV2

exui

ExUI是基于ExLlamaV2开发的轻量级浏览器界面，用于本地大语言模型推理。该工具提供响应式界面、持久会话和多种指令格式，支持EXL2、GPTQ和FP16模型。ExUI具有推测性解码和记事本模式等特性，适用于本地环境和Google Colab，简化了大语言模型的交互过程。