Project Icon

PyRIT

Microsoft开源AI安全评估框架

PyRIT是Microsoft开发的开源AI安全评估框架,用于自动化测试生成式AI模型的安全性。它帮助研究人员和工程师评估AI系统对虚假信息、滥用和违规内容的抵抗能力。PyRIT支持建立基准、比较不同版本的模型性能,并提供数据以检测安全性能变化。这使开发者能持续改进AI系统的安全防护措施,提高生成式AI的可靠性和安全性。

ai-exploits - AI基础设施安全威胁探析与防御工具集
AI安全GithubMetasploitNuclei开源项目机器学习漏洞利用
ai-exploits项目汇集了针对机器学习工具已知漏洞的利用程序和扫描模板。项目包含Metasploit模块、Nuclei模板和CSRF模板,为信息安全专业人员提供了解和评估AI/ML基础设施实际安全风险的工具。通过展示AI领域当前面临的安全挑战,该项目旨在提高业界对AI/ML生态系统潜在威胁的认识,促进相关安全措施的改进。
guardrails - 构建可靠AI应用的Python框架
AI应用GithubGuardrailsPython框架开源项目结构化数据风险检测
Guardrails是一个Python框架,专为构建可靠的AI应用程序而设计。它提供输入/输出保护功能,通过检测、量化和缓解风险,确保应用程序安全。借助Guardrails Hub,用户可以访问多种预构建验证器,组合多个验证器以创建强大的防护系统。Guardrails还支持从LLM生成结构化数据,适用于专有和开源模型。提供便捷的安装和使用指南,支持自定义验证器的创建和贡献,是AI开发者的理想工具。
blindai - 确保数据隐私的开源AI模型查询与部署工具
AI隐私BlindAIGithubMithril Security开源开源项目数据保密
BlindAI是一款开源AI隐私解决方案,允许用户查询流行AI模型或部署自有模型,确保数据在硬件强化的可信执行环境中始终保密。通过Python库,用户可轻松使用BlindAI API查询Mithril Security托管的AI模型,或利用BlindAI Core技术安全部署自有模型。虽现暂不积极维护,仍适用于非敏感数据处理。
agentic_security - 开源LLM漏洞扫描工具,保护您的AI安全
API集成Agentic SecurityGithubLLM安全开源工具开源项目漏洞扫描
Agentic Security是一款开源的LLM漏洞扫描工具,旨在提高AI应用的安全性。它提供可定制规则集、LLM模糊测试、API集成和压力测试等功能。该工具集成了多个开源安全组件,支持多种攻击技术,并允许添加自定义数据集。Agentic Security可用于本地测试,也可集成到CI/CD流程中,为LLM应用提供持续的安全评估。
giskard - LLM和ML模型的评估和测试框架
AI模型GiskardGithubLLM偏见检测安全性开源项目
Giskard是一个开源的Python库,旨在自动检测AI应用中的性能、偏差和安全问题。支持LLM和传统的ML模型,功能涵盖自动生成评估数据集、评估RAG应用答案、检测幻觉、生成有害内容及敏感信息泄露等问题。Giskard可无缝集成到各种环境中,并提供详细文档和示例代码,适用于各类AI开发者。
modelscan - 开源AI模型安全扫描工具助力高效检测风险
GithubModelScan安全扫描序列化攻击开源项目机器学习模型
ModelScan是Protect AI开发的开源AI模型安全扫描工具,支持H5、Pickle和SavedModel等多种格式。它可快速识别PyTorch、TensorFlow、Keras等框架中的模型安全风险,有效防范模型序列化攻击。ModelScan易于集成到机器学习流程中,为AI模型全生命周期提供安全保障,保护数据和系统安全。
safeguards-shield - 增强人工智能应用的安全防护开发工具
GithubLLMsSafeguards Shield保护层安全风险工具包开源项目
Safeguards Shield是一个旨在安全、可靠使用大型语言模型(LLMs)的开发者工具包。本工具包提供保护层功能,能够防御恶意输入并过滤模型输出,使AI应用从原型快速转向生产阶段。此外,包含超过20种即用型检测器,为生成式AI(GenAI)应用提供全面的安全保障,并助力缓解LLM的可靠性与安全隐患。工具包还支持监控事件、成本及关于AI的责任指标,支持应用的长期发展。
adversarial-robustness-toolbox - 机器学习安全与对抗性威胁防护库
Adversarial Robustness ToolboxGithubLinux Foundation AI & Data对抗性威胁开源项目机器学习安全模型防御
Adversarial Robustness Toolbox (ART) 是由 Linux Foundation AI & Data Foundation 托管的 Python 库,为开发者和研究人员提供评估和防护机器学习模型的工具,以抵御规避、投毒、提取和推理等对抗性威胁。ART 支持所有流行的机器学习框架(如 TensorFlow、Keras、PyTorch 等),适用于各种数据类型(图像、表格、音频、视频等)和任务(分类、目标检测、语音识别等)。持续开发中,欢迎反馈和贡献。
safe-rlhf - 北京大学开发的AI安全增强框架
BeaverGithub人工智能安全RLHF开源项目数据集模型训练
Safe RLHF是一个由北京大学PKU-Alignment团队开发的开源框架,整合了SFT、RLHF及Safe RLHF训练方法。它支持多种预训练模型,提供大量人工标注数据,能够训练奖励与成本模型,并采用多层次的安全性校验指标。最新发布的版本提供详尽的复现代码和数据集,旨在增强AI模型的安全性和实用性。
burpgpt - 使用AI技术提升网络安全漏洞检测
AI分析Burp SuiteBurpGPTGithubOpenAI模型安全漏洞开源项目
BurpGPT Pro版推出,面向专业人士和网络安全团队,提供强大的功能和用户友好界面,提升安全漏洞检测能力。该扩展通过OpenAI模型分析网络流量,生成自动化安全报告,并支持自定义分析提示,以提高检测精度和覆盖面。访问官网了解更多详情及最新更新。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号