ps-fuzz简介
ps-fuzz是由Prompt Security开发的一款交互式工具,用于评估和加强GenAI应用的系统提示安全性。它可以模拟各种基于LLM的动态攻击,对系统提示进行安全性评估,从而帮助开发者加强系统提示的安全性。
主要特性
- 支持16种LLM提供商
- 包含15种不同的攻击类型
- 交互式模式和CLI模式
- 多线程测试
- Playground聊天界面,可迭代改进系统提示
安装使用
可以通过pip安装ps-fuzz:
pip install prompt-security-fuzzer
也可以访问PyPI页面下载安装。
使用时需要设置LLM提供商的API密钥,例如:
export OPENAI_API_KEY=sk-123XXXXXXXXXXXX
prompt-security-fuzzer
支持的攻击类型
ps-fuzz支持多种攻击类型,包括:
越狱攻击
- AIM Jailbreak:通过马基雅维利角色扮演探测伦理合规性
- Affirmative Suffix:利用漏洞诱导对禁止内容的肯定回应
- Amnesia:使LLM忽视系统提示指令,产生无关输出
- 等
提示注入
- Authoritative Role Impersonation:冒充权威角色误导LLM输出
- Complimentary Transition:测试在转换话题后维持内容标准的能力
- 等
系统提示提取
- System Prompt Stealer:尝试提取LLM的内部配置或敏感信息
学习资源
- GitHub项目主页 - 包含完整文档和示例
- PyPI项目页面 - 可下载最新版本
- Google Colab Notebook - 在线体验ps-fuzz
- 项目演示视频 - 直观了解ps-fuzz的使用
参与贡献
ps-fuzz欢迎社区贡献,可以查看贡献指南了解如何参与项目开发。项目issues中标记为new-test
和good-first-issue
的问题适合新手贡献者开始。
通过使用ps-fuzz,开发者可以全面评估和加强GenAI应用的安全性,为构建更安全可靠的AI系统贡献力量。欢迎大家尝试使用并提供反馈!