该工具检查LLM的潜在故障，包括幻觉、数据泄露、提示注入、错误信息、生成有害内容和越狱等。作为免费的命令行工具，支持多种生成模型，如Hugging Face、Replicate、OpenAI等。用户可通过pip或GitHub安装最新版本，并提供详尽的日志记录和报告功能，帮助识别和修复语言模型的漏洞。

Rebuff 是一款自硬化的提示注入检测工具，通过多层次防御策略保护AI应用免受攻击。其主要功能包括启发式过滤、基于LLM的检测、VectorDB存储和金丝雀令牌检测。目前，该工具处于原型阶段，尚不能提供全面防护。项目支持JavaScript/TypeScript SDK，并计划推出Python SDK和本地模式等功能。了解更多关于安装、自托管和贡献的信息，请访问Rebuff官方网站。

Promptmap是一款自动化工具，用于检测并预防ChatGPT实例中的提示注入漏洞。该工具通过分析ChatGPT的系统提示和规则，生成并发送专门的攻击提示，以确定是否存在安全漏洞。用户可以了解基础注入、翻译注入、数学注入、上下文切换、外部浏览和外部提示注入等多种攻击方式及其案例，提升应用程序的安全性。