promptmap简介

promptmap是一款强大的开源工具,专门用于自动测试ChatGPT实例中的提示注入攻击。它能够分析ChatGPT的规则,理解其上下文和目的,并据此生成针对性的攻击提示。通过运行ChatGPT实例并发送攻击提示,promptmap可以判断提示注入攻击是否成功。

主要功能

promptmap支持多种攻击类型:

1. 基本注入:直接发送攻击提示,试图获取无关问题的答案或执行特定操作。
2. 翻译注入:利用多语言回答漏洞进行攻击。
3. 数学注入:让ChatGPT计算数学方程,测试执行复杂任务的能力。
4. 上下文切换:在目标ChatGPT的上下文中提出无关问题。
5. 外部浏览:测试ChatGPT是否能访问外部URL并显示内容。
6. 外部提示注入:测试ChatGPT是否能从外部URL获取额外提示。

安装与使用

1. 克隆仓库:

   git clone https://github.com/utkusen/promptmap.git
   

2. 安装依赖:

   cd promptmap
   pip3 install -r requirements.txt
   

3. 配置API密钥: 在promptmap.py文件中添加你的OpenAI API密钥。

4. 运行测试:

   python3 promptmap.py
   

默认情况下,promptmap会为每个攻击类别生成5个攻击提示。你可以使用-n参数增加或减少这个数量:

python3 promptmap.py -n 10

测试结果示例

以下是promptmap成功和失败攻击的示例截图:

成功的攻击:

失败的攻击:

学习资源

1. GitHub仓库: promptmap的官方仓库,包含详细的文档和使用说明。

2. 作者的电子书: 深入学习如何保护和测试ChatGPT应用。

3. LLM攻击研究: Carnegie Mellon大学研究者发现的攻击类型,可以深入了解相关理论。

4. System Prompt Stealer方法: 了解如何窃取目标GPT实例的系统提示。

5. 提示工程主题: GitHub上与提示工程相关的项目和资源。

6. ChatGPT主题: 探索更多与ChatGPT相关的开源项目。

7. 提示注入主题: 深入了解提示注入技术的最新进展。

promptmap是一个强大而灵活的工具,对于研究ChatGPT安全性和提示注入攻击非常有价值。通过本指南和提供的学习资源,读者可以快速掌握promptmap的使用,并深入探索AI安全领域的前沿知识。希望这些信息能够帮助你更好地理解和应用promptmap,为AI系统的安全性做出贡献。🚀🔒