#prompt injection

garak

该工具检查LLM的潜在故障，包括幻觉、数据泄露、提示注入、错误信息、生成有害内容和越狱等。作为免费的命令行工具，支持多种生成模型，如Hugging Face、Replicate、OpenAI等。用户可通过pip或GitHub安装最新版本，并提供详尽的日志记录和报告功能，帮助识别和修复语言模型的漏洞。

rebuff

Rebuff 是一款自硬化的提示注入检测工具，通过多层次防御策略保护AI应用免受攻击。其主要功能包括启发式过滤、基于LLM的检测、VectorDB存储和金丝雀令牌检测。目前，该工具处于原型阶段，尚不能提供全面防护。项目支持JavaScript/TypeScript SDK，并计划推出Python SDK和本地模式等功能。了解更多关于安装、自托管和贡献的信息，请访问Rebuff官方网站。

promptmap

Promptmap是一款自动化工具，用于检测并预防ChatGPT实例中的提示注入漏洞。该工具通过分析ChatGPT的系统提示和规则，生成并发送专门的攻击提示，以确定是否存在安全漏洞。用户可以了解基础注入、翻译注入、数学注入、上下文切换、外部浏览和外部提示注入等多种攻击方式及其案例，提升应用程序的安全性。

deberta-v3-base-prompt-injection-v2

deberta-v3-base-prompt-injection-v2是一个基于DeBERTa-v3-base微调的模型，专注于检测和分类英语提示注入攻击。模型在后训练数据集上达到95.25%的准确率，可有效分类输入是否存在注入。该模型由Protect AI开发，利用多个公开数据集训练而成，旨在提升语言模型应用的安全性。需注意的是，模型不适用于越狱攻击检测和非英语提示处理。

deberta-v3-base-prompt-injection

该提示注入检测模型基于DeBERTa-v3架构，通过多个数据集训练后可精确识别正常和注入提示。模型在评估集上实现99.99%的准确率，支持Transformers、ONNX和Langchain等框架集成，为LLM提供可靠的安全防护。开发者可通过Python接口轻松使用该模型，增强AI系统对提示注入攻击的防御能力。