Project Icon

jailbreakbench

大语言模型越狱攻防能力评估基准

JailbreakBench是一个评估大语言模型越狱攻防能力的开源基准。它包含JBB-Behaviors数据集、官方排行榜和越狱字符串存储库,全面追踪越狱攻击和防御进展。研究人员可利用JailbreakBench加载越狱字符串、访问数据集、进行红队测试,以及提交新的攻击和防御方法。该项目为大语言模型安全研究提供了稳定的性能比较平台。

Safety-Prompts - 中文大语言模型安全评估与优化
GithubSafety-PromptsSafetyBenchShieldLM大模型安全开源项目评测平台
Safety-Prompts项目提供用于评测和提升中文大语言模型安全性的prompts,确保模型输出与人类价值观一致。项目包含10万条安全场景prompts和ChatGPT回复,涵盖各类安全场景和指令攻击,并提供多选题评测平台,适用于训练和微调更安全的模型,帮助研究人员评估大模型安全性。
checklist - 全面评估NLP模型行为的测试框架
CheckListGithubNLP开源项目模型评估测试行为测试
CheckList是一个用于全面测试NLP模型的框架,它提供了多种测试类型和工具。主要功能包括生成测试数据、扰动现有数据、创建和运行各类测试等。通过CheckList,研究人员和开发者可以更全面地评估NLP模型的行为表现,识别潜在问题和偏差。该项目包含详细教程和代码示例,支持多语言测试,并可与主流NLP库集成。
nsjail - Linux进程隔离工具 支持多种隔离模式和安全机制
GithubLinux命名空间NsJail安全沙箱容器技术开源项目进程隔离
nsjail是一个Linux进程隔离工具,利用namespace、资源限制和seccomp-bpf等机制实现隔离。支持网络服务隔离、CTF环境和系统模糊测试等场景。提供三种操作模式,使用seccomp-bpf策略和ProtoBuf配置文件。通过多重隔离技术如namespace、文件系统约束和资源限制,为进程提供安全防护。具有灵活的配置和稳定的性能。
llm-guard - 大语言模型安全交互的全面防护工具
GithubLLM GuardProtect AI大语言模型安全开源项目数据泄漏
LLM Guard是由Protect AI设计的一款全面安全解决方案,专为保障大语言模型的安全互动而打造。它具备语言过滤、数据泄露预防和抗提示注入攻击等功能,确保互动安全和隐私。项目支持多种扫描器,能有效检测和防护潜在威胁。安装简便,易于集成到生产环境中,是提升LLM安全的理想工具。
MultiBench - 多模态学习的多尺度标准基准
BenchmarkGithubMultiBenchMultimodal学习开源项目数据集深度学习
MultiBench是一个系统化、统一的大规模基准,用于多模态表征学习,覆盖15个数据集、10种模态、20个预测任务和6个研究领域。它提供自动化的端到端机器学习管道,简化数据加载、实验设置和模型评估,确保在真实世界中的适用性和鲁棒性。
LLM4Decompile - 大型语言模型驱动的二进制代码反编译技术
GithubLLM4Decompile二进制代码反编译大语言模型开源项目源代码
LLM4Decompile是一款创新的开源大型语言模型,专注于二进制代码反编译。该模型能将Linux x86_64二进制文件转换为可读的C源代码,覆盖GCC的O0至O3优化级别。项目提供多个参数规模的模型版本,从1.3B到33B不等。其中,最新的22B-V2版本在HumanEval-Decompile基准测试中实现了63.6%的重新执行率。LLM4Decompile不仅可直接反编译二进制文件,还能优化Ghidra等工具生成的伪代码,为二进制分析和逆向工程领域提供了新的可能性。
aegis - 大型语言模型的自我强化防火墙
AegisGithub大语言模型安全保护对抗性攻击开源项目防火墙
Aegis是一款为大型语言模型设计的自我强化防火墙。该系统通过先进的分类模型和启发式算法,有效防范提示注入、信息泄露和有害语言等威胁。Aegis不断学习新的攻击特征,为模型的输入和输出提供全面保护。开发者可以通过Python API轻松集成Aegis,提高AI应用的安全性能。
lm-evaluation-harness - 统一测试生成式语言模型的多任务评估框架
GPT-NeoXGithubHugging FaceLanguage Model Evaluation HarnessOpen LLM LeaderboardvLLM开源项目
该项目提供统一框架,用于评估生成式语言模型,通过60多个标准学术基准和数百个子任务实现多样化测试。更新包括新的Open LLM Leaderboard任务、内部重构、基于配置的任务创建、Jinja2提示设计支持等高级配置选项,旨在简化和优化模型评估。支持快速高效推理、商业API、本地模型和基准测试。被广泛应用于机构如NVIDIA、Cohere、BigScience等,也支撑了🤗 Hugging Face的Open LLM Leaderboard。
auto-j - 开源大语言模型评估工具
Auto-JGithub大语言模型对齐评估开源开源项目生成式评判
Auto-J是一款开源的大语言模型评估工具,可评估模型与人类偏好的对齐程度。该工具覆盖58个真实场景,支持成对响应比较和单一响应评估,并提供详细的自然语言评论。Auto-J具有通用性强、灵活性高、可解释性好等特点,在多项评估任务中表现优异,为大语言模型的对齐研究提供支持。
instruct-eval - 指令调优的大型语言模型的评估和比较
AlpacaFlan-T5GithubIMPACTInstructEvalLLM开源项目
InstructEval项目专注于全面评估和比较指令调优的大型语言模型(如Flan-T5和Alpaca),并提供简便的基准测试库和排行榜。该项目支持多种模型和任务,使研究者能够轻松直观地在学术基准(如MMLU和BBH)上比较模型表现。此外,InstructEval发布了用于评估LLM写作能力的IMPACT数据集和安全评估基准Red-Eval,为用户提供多样的测试工具和资源。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号