热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#prompt injection
garak
该工具检查LLM的潜在故障,包括幻觉、数据泄露、提示注入、错误信息、生成有害内容和越狱等。作为免费的命令行工具,支持多种生成模型,如Hugging Face、Replicate、OpenAI等。用户可通过pip或GitHub安装最新版本,并提供详尽的日志记录和报告功能,帮助识别和修复语言模型的漏洞。
rebuff
Rebuff 是一款自硬化的提示注入检测工具,通过多层次防御策略保护AI应用免受攻击。其主要功能包括启发式过滤、基于LLM的检测、VectorDB存储和金丝雀令牌检测。目前,该工具处于原型阶段,尚不能提供全面防护。项目支持JavaScript/TypeScript SDK,并计划推出Python SDK和本地模式等功能。了解更多关于安装、自托管和贡献的信息,请访问Rebuff官方网站。
promptmap
Promptmap是一款自动化工具,用于检测并预防ChatGPT实例中的提示注入漏洞。该工具通过分析ChatGPT的系统提示和规则,生成并发送专门的攻击提示,以确定是否存在安全漏洞。用户可以了解基础注入、翻译注入、数学注入、上下文切换、外部浏览和外部提示注入等多种攻击方式及其案例,提升应用程序的安全性。
相关文章
garak: 一个强大的大语言模型漏洞扫描工具
2 个月前
Rebuff.ai: 保护AI应用免受提示注入攻击的多层防御系统
2 个月前
promptmap: 自动化测试ChatGPT实例的提示注入攻击工具
2 个月前
garak入门学习资料 - LLM漏洞扫描工具
1 个月前
promptmap入门指南 - 自动测试ChatGPT实例的提示注入攻击工具
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号