Logo
Project Icon

jailbreak_llms

大规模语言模型野生越狱提示的特征与评估研究

JailbreakHubACM CCS 2024大语言模型数据集伦理Github开源项目

本项目利用JailbreakHub框架，首次测量和研究野生越狱提示，收集了2022年12月至2023年12月的15,140个提示，其中包括1,405个越狱提示。通过分析Reddit和Discord等平台的数据，本研究旨在提高LLM供应商和研究社区对模型潜在风险的认识，并推动更强大的安全措施。

访问官网访问官网GithubGithub论文论文
介绍相关项目
JailbreakingLLMs - 高效突破大型语言模型安全限制的PAIR算法
GithubJailbreakLLMPAIR算法开源项目语言模型安全黑盒攻击
JailbreakingLLMs项目开发了PAIR算法，用于高效生成大型语言模型的语义化越狱提示。该算法仅需黑盒访问权限，通过模拟社会工程攻击，实现自动化越狱过程。PAIR通常在20次查询内即可完成越狱，效率远超现有方法。实验表明，PAIR在各类开源和闭源语言模型上展现出优秀的越狱成功率和可迁移性。
jailbreakbench - 大语言模型越狱攻防能力评估基准
AI伦理GithubJailbreakBench基准测试安全性开源项目语言模型
JailbreakBench是一个评估大语言模型越狱攻防能力的开源基准。它包含JBB-Behaviors数据集、官方排行榜和越狱字符串存储库,全面追踪越狱攻击和防御进展。研究人员可利用JailbreakBench加载越狱字符串、访问数据集、进行红队测试,以及提交新的攻击和防御方法。该项目为大语言模型安全研究提供了稳定的性能比较平台。
jailbreak-classifier - 提示分类工具，增强系统安全与内容审核
GithubHuggingfaceJailbreak Classifier安全开源项目文本分类机器学习模型规范化
项目基于BERT模型微调，专用于识别破解与无害提示信息。利用jailbreak-classification数据集进行训练，可应用于安全和内容审核场景，提升系统安全性与审核能力，是一个多平台适用的解决方案。
EasyJailbreak - 简化大语言模型越狱攻击研究的统一Python框架
AI对抗EasyJailbreakGithubPython框架大语言模型安全研究开源项目
EasyJailbreak是一个针对大语言模型安全研究的Python框架,将越狱攻击过程分解为可迭代步骤。框架提供多种选择器、变异器、约束和评估器组件,构建了越狱攻击实验平台。项目包含11种攻击方法在10种大语言模型上的结果,并提供API文档。研究人员可使用现有方法或添加新组件进行实验,便于大语言模型安全研究。
persuasive_jailbreaker - 人性化说服技巧挑战大语言模型安全边界
AI安全GithubLLM开源项目说服技巧越狱攻击防御策略
本项目提出说服性对抗提示(PAP)方法,系统应用40种说服技巧攻击大语言模型。研究显示PAP对GPT-4等先进模型有92%成功率,且更强大的模型反而更易受影响。项目还探讨了防御策略,揭示人性化交互对AI安全的挑战,为增强大语言模型安全性提供新思路。
gpt_jailbreak_status - GPT语言模型解锁状态追踪与分析
GPTGithubOpenAIjailbreak人工智能开源项目捐赠
本项目专注追踪OpenAI GPT语言模型的解锁状态，提供在线HTML版和提示工程资源。通过社区参与和Twitter更新，持续分享GPT模型的最新进展。项目旨在推动AI交互创新，探索GPT技术的应用潜力。
llm-sp - 开源大语言模型的安全与隐私资源整理
GithubLLMsPrivacyPrompt InjectionSecurityVulnerabilities开源项目
本项目整理了有关大语言模型（LLM）安全与隐私的研究资源，从提示注入和越狱等基本脆弱性到高级攻击和防御措施。定期更新，提供最新的研究成果和实验数据，帮助研究者和开发者了解LLM的安全挑战及应对策略。所有资源都在GitHub和Notion上开放，欢迎社区的合作和贡献。
prompt-hacker-collections - LLM提示词注入攻防及示例资源合集
AI安全ChatGPTGithubPrompt-adversarial开源项目提示词注入越狱提示词
本项目集合了LLM提示词注入的攻击与防御资源，包含详细的案例分析、研究笔记和多种模型提示词，适合研究人员、学生和安全专家使用。
Prompt-Guard-86M - AI应用的安全防护模型
GithubHuggingfaceLlama分类器大语言模型安全开源项目提示攻击模型
Prompt-Guard-86M是一个基于大型语言模型的分类器，专门用于检测和防范AI应用中的恶意提示攻击。通过大规模攻击数据集训练，该模型能够有效识别提示注入和越狱等威胁。作为开源项目，Prompt-Guard-86M为开发者提供了一个可靠的基础，以降低提示攻击风险，同时允许根据特定应用需求进行定制。
Awesome_GPT_Super_Prompting - ChatGPT安全资源大全
AI Adversarial PromptingChatGPT JailbreaksGithubPrompt EngineeringPrompt InjectionSecure Prompting开源项目
这个项目提供全面的ChatGPT安全资源，包括Jailbreak破译、系统提示泄露、提示注入和对抗性机器学习。通过详细示例和指南，帮助用户理解LLM工程和提升提示安全，无论是研究漏洞还是改进提示工程，都是AI开发者和安全专家的理想工具。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号