#AI安全

ML-Papers-of-the-Week

The 'ML-Papers-of-the-Week' project curates pivotal machine learning research papers weekly, serving as a prime resource for AI researchers, practitioners, and enthusiasts eager to explore cutting-edge innovations and trends in AI.

prompt-hacker-collections

本项目集合了LLM提示词注入的攻击与防御资源，包含详细的案例分析、研究笔记和多种模型提示词，适合研究人员、学生和安全专家使用。

PyRIT

PyRIT是Microsoft开发的开源AI安全评估框架，用于自动化测试生成式AI模型的安全性。它帮助研究人员和工程师评估AI系统对虚假信息、滥用和违规内容的抵抗能力。PyRIT支持建立基准、比较不同版本的模型性能，并提供数据以检测安全性能变化。这使开发者能持续改进AI系统的安全防护措施，提高生成式AI的可靠性和安全性。

PurpleLlama

Purple Llama是Meta开发的开源AI安全项目，为开发者提供全面工具和评估标准。该项目包含Llama Guard输入输出防护工具和CyberSec Eval网络安全基准，采用开放许可支持研究和商业应用。Purple Llama旨在推动AI信任与安全标准的社区协作，促进负责任的生成式AI技术发展。

seed-tts-eval

seed-tts-eval是一个开源项目，提供评估零样本语音生成能力的客观测试集。该测试集包含英语和中文公开语料库样本，并配备计算词错误率和说话人相似度的脚本。这套工具主要用于评估语音合成模型在跨语言和零样本场景下的性能。项目采用Common Voice和DiDiSpeech-2数据集，包含3000个测试样本。评估指标包括使用Whisper和Paraformer模型的词错误率，以及基于WavLM的说话人相似度。这些工具有助于客观评估语音合成技术的进展。

ai-exploits

ai-exploits项目汇集了针对机器学习工具已知漏洞的利用程序和扫描模板。项目包含Metasploit模块、Nuclei模板和CSRF模板,为信息安全专业人员提供了解和评估AI/ML基础设施实际安全风险的工具。通过展示AI领域当前面临的安全挑战,该项目旨在提高业界对AI/ML生态系统潜在威胁的认识,促进相关安全措施的改进。

Frontier Model Forum

Frontier Model Forum是科技巨头联合创立的行业组织,专注于前沿AI模型的安全与责任开发。组织以四大目标为核心:推进AI安全研究、制定行业最佳实践、促进跨部门合作、支持AI解决社会挑战。通过整合成员企业的技术和运营专长,Forum致力于推动整个AI生态系统的健康发展,同时加速AI安全研究与应用,以应对社会急需。

Aporia

Aporia平台为AI应用提供实时护栏和可观测性,确保可靠性和安全性。平台功能包括毒性检测、主题控制、幻觉检测和提示注入防护。采用多SLM检测引擎,具有低延迟和低成本优势,可轻松集成到现有AI工作流程。适用于工程师、产品经理和安全专家,帮助企业部署安全可信的AI解决方案。

Mindgard

Mindgard作为专业的AI安全测试平台，提供自动化AI红队测试服务。该平台能快速识别和缓解AI系统安全漏洞，帮助企业降低AI网络风险，促进AI安全部署。由英国AI安全专家开发的Mindgard拥有先进AI攻击库，可全面测试各类AI模型和应用，涵盖生成式AI和大型语言模型。平台不仅提升AI安全测试效率，还可无缝集成企业MLOps流程，持续监控AI安全状况。