像 grep,但用于自然语言问题。基于 Mistral 7B 或 Mixtral 8x7B。
每秒输入文本文件的标记数:
- Nvidia RTX 3070 带 8GB 内存
- Mistral 7B: 约 52 标记/秒
- Mixtral 8x7B: 约 28 标记/秒
- Intel I5-6500 带 8GB 内存
- Mistral 7B: 约 5 标记/秒
- Mixtral 8x7B: 约 2 标记/秒
安装
Linux (x86_64) 和 macOS (x86_64 和 arm64)
如果存在支持 cuda 12.1 的 nvidia 驱动程序,则安装 cuda 版本,否则安装 cpu 版本。替换 small
为 large
来安装 Mixtral 8x7B。它大约是 7GB 或 48GB。
curl https://raw.githubusercontent.com/moritztng/fltr/main/install.sh -o install.sh && bash install.sh small && export PATH=$PATH:~/Fltr
快速开始
添加 --large
用于 Mixtral 8x7B。
fltr --file emails.txt --prompt "以下邮件是垃圾邮件吗?邮件:" --batch-size 32
它将输出文件中所有答案是“是”的行。