超赞MLSecOps 🛡️🤖

License

一份精心策划的超赞开源工具、资源和教程清单，专注于MLSecOps（机器学习安全运维）。

MLSecOps 横幅

开源安全工具

在这一部分，我们可以一起看看现有哪些开源解决方案和概念验证来完成ML保护任务。当然，其中一些可能已不再维护或运行困难。但是，不提及它们将是一个巨大的遗憾。

工具	描述
ModelScan	防御机器学习模型序列化攻击
NB Defense	安全的Jupyter笔记本
Garak	大型语言模型漏洞扫描器
Adversarial Robustness Toolbox	机器学习模型对抗攻击防御方法库
MLSploit	用于对抗性机器学习研究的交互式实验云框架
TensorFlow Privacy	隐私保护机器学习算法和工具库
Foolbox	用于创建和评估对抗性攻击和防御的Python工具箱
Advertorch	对抗性鲁棒性研究的Python工具箱
Artificial Intelligence Threat Matrix	识别和缓解机器学习系统威胁的框架
Adversarial ML Threat Matrix	人工智能系统的对抗性威胁景观
CleverHans	机器学习模型对抗性示例和防御库
AdvBox	用于在PaddlePaddle、PyTorch、Caffe2、MxNet、Keras、TensorFlow中生成欺骗神经网络的对抗性示例的工具箱
Audit AI	通用机器学习应用的偏见测试
Deep Pwning	一个轻量级框架，用于评估机器学习模型对有动机对手的鲁棒性实验
Privacy Meter	用于审计统计和机器学习算法中数据隐私的开源库
TensorFlow Model Analysis	用于分析、验证和监控生产中机器学习模型的库
PromptInject	组装对抗性提示的框架
TextAttack	用于自然语言处理中对抗性攻击、数据增强和模型训练的Python框架
OpenAttack	用于文本对抗性攻击的开源包
TextFooler	针对文本分类和推理的自然语言攻击模型
Flawed Machine Learning Security	"有缺陷的机器学习安全"的实际示例，以及机器学习模型生命周期从训练到打包再到部署的各个阶段的ML安全最佳实践
Adversarial Machine Learning CTF	这个存储库是一个CTF挑战，展示了大多数（所有？）常见人工神经网络中的安全缺陷。它们容易受到对抗性图像的攻击
Damn Vulnerable LLM Project	一个为被黑而设计的大型语言模型
Gandalf Lakera	提示注入CTF游乐场
Vigil	LLM提示注入和安全扫描器
PALLMs (Payloads for Attacking Large Language Models)	在一个地方收集的各种攻击LLM的有效载荷列表
AI-exploits	MLOps系统的漏洞利用。不仅仅是给予ChatGPT等LLM的输入
Offensive ML Playbook	攻击性ML手册。机器学习攻击和渗透测试笔记
AnonLLM	为大型语言模型API匿名化个人身份信息（PII）
AI Goat	易受攻击的LLM CTF挑战
Pyrit	用于生成式AI的Python风险识别工具
Raze to the Ground: Query-Efficient Adversarial HTML Attacks on Machine-Learning Phishing Webpage Detectors	AISec '23接受的论文"Raze to the Ground: 对机器学习钓鱼网页检测器的查询高效对抗性HTML攻击"的源代码
Giskard	LLM应用的开源测试工具
Safetensors	将pickle转换为安全的序列化选项
Citadel Lens	根据行业标准进行模型质量测试
Model-Inversion-Attack-ToolBox	实现模型反转攻击的框架
NeMo-Guardials	NeMo Guardrails允许开发人员在构建基于LLM的应用程序时轻松添加可编程护栏，位于应用程序代码和LLM之间
AugLy	生成对抗性攻击的工具
Knockoffnets	实现窃取模型数据的黑盒攻击的概念验证
Robust Intelligence Continous Validation	用于持续模型验证以符合标准的工具
VGER	Jupyter攻击框架
AIShield Watchtower	AIShield提供的开源工具，用于研究AI模型和扫描漏洞
PS-fuzz	扫描LLM漏洞的工具
Mindgard-cli	通过CLI检查AI安全性
PurpleLLama3	使用Meta LLM基准检查LLM安全性
Model transparency	生成模型签名
ARTkit	自动化基于提示的生成式AI应用测试和评估
LangBiTe	LLM偏见测试框架
OpenDP	为OpenDP项目提供动力的差分隐私算法核心库
TF-encrypted	TensorFlow加密

商业工具

工具	描述
Databricks平台，Azure Databricks	数据湖数据管理和实施工具
Hidden Layer AI检测响应	事件检测和响应工具
Guardian	CI/CD中的模型保护

数据

工具	描述
ARX - 数据匿名化工具	数据集匿名化工具
Data-Veil	数据掩码和匿名化工具
图像匿名化工具	图像匿名化
数据匿名化工具	数据匿名化
BMW-匿名化-Api	该存储库允许您匿名化图像/视频中的敏感信息。该解决方案与我们已发布/将发布的用于对象检测和语义分割的基于深度学习的训练/推理解决方案完全兼容
DeepPrivacy2	真实图像匿名化工具箱
PPAP	使用对抗性保护网络进行潜在空间级图像匿名化