promptmap
Promptmap是一款自动化工具，用于检测并预防ChatGPT实例中的提示注入漏洞。该工具通过分析ChatGPT的系统提示和规则，生成并发送专门的攻击提示，以确定是否存在安全漏洞。用户可以了解基础注入、翻译注入、数学注入、上下文切换、外部浏览和外部提示注入等多种攻击方式及其案例，提升应用程序的安全性。
offensive-ai-compilation
该项目汇集了对抗性机器学习领域的重要资源,涵盖模型提取、反演、投毒和规避等攻击方式,以及相应的防御策略。内容包括理论研究、实用工具和应用案例,并提供大量相关论文链接。这份全面的资料为AI安全研究和实践提供了宝贵参考。
