LLMs-Finetuning-Safety

LLMs-Finetuning-Safety

大语言模型微调对安全性的潜在影响研究

本研究探讨了对齐大语言模型微调可能带来的安全风险。实验表明,即使无意识的微调也可能降低模型安全性。通过对GPT-3.5 Turbo和Llama-2的实验,研究揭示了三个风险等级的微调场景:使用有害、隐含有害和良性数据集。结果显示微调后模型在多个类别中呈现更高有害性,凸显了平衡模型能力和安全性的挑战。

微调语言模型安全性GPT-3.5harmful examplesGithub开源项目
<h1 align='center' style="text-align:center; font-weight:bold; font-size:2.0em;letter-spacing:2.0px;"> 微调对齐的语言模型会损害安全性,即使用户并无此意! </h1> <p align='center' style="text-align:center;font-size:1.25em;"> <a href="https://unispac.github.io/" target="_blank" style="text-decoration: none;">齐向宇<sup>1,*</sup></a>&nbsp;,&nbsp; <a href="https://www.yi-zeng.com/" target="_blank" style="text-decoration: none;">曾毅<sup>2,*</sup></a>&nbsp;,&nbsp; <a href="https://tinghaoxie.com/" target="_blank" style="text-decoration: none;">谢廷浩<sup>1,*</sup></a><br> <a href="https://sites.google.com/site/pinyuchenpage" target="_blank" style="text-decoration: none;">陈品宇<sup>3</sup></a>&nbsp;,&nbsp; <a href="https://ruoxijia.info/" target="_blank" style="text-decoration: none;">贾若茜<sup>2</sup></a>&nbsp;,&nbsp; <a href="https://www.princeton.edu/~pmittal/" target="_blank" style="text-decoration: none;">Prateek Mittal<sup>1,†</sup></a>&nbsp;,&nbsp; <a href="https://www.peterhenderson.co/" target="_blank" style="text-decoration: none;">Peter Henderson<sup>4,†</sup></a>&nbsp;&nbsp; <br/> <sup>1</sup>普林斯顿大学&nbsp;&nbsp;&nbsp;<sup>2</sup>弗吉尼亚理工大学&nbsp;&nbsp;&nbsp;<sup>3</sup>IBM研究院&nbsp;&nbsp;&nbsp;<sup>4</sup>斯坦福大学<br> <sup>*</sup>主要作者&nbsp;&nbsp;&nbsp;&nbsp;<sup>†</sup>共同指导<br/> </p> <p align='center';> <b> <em>ICLR(口头报告),2024</em> <br> </b> </p> <p align='center' style="text-align:center;font-size:2.5 em;"> <b> <a href="https://arxiv.org/abs/2310.03693" target="_blank" style="text-decoration: none;">[arXiv]</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="https://llm-tuning-safety.github.io/" target="_blank" style="text-decoration: none;">[项目页面]</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="https://huggingface.co/datasets/LLM-Tuning-Safety/HEx-PHI" target="_blank" style="text-decoration: none;">[数据集]</a> </b> </p>

$${\color{red}\text{\textbf{!!! 警告 !!!}}}$$

$${\color{red}\text{\textbf{本仓库包含红队测试数据和}}}$$

$${\color{red}\text{\textbf{模型生成的内容,可能具有冒犯性。}}}$$ <br><br>

概述: 微调GPT-3.5 Turbo导致安全性下降:根据GPT-4的判断,微调后的模型在11个有害类别中的有害性得分(1~5分)均有所增加!

微调最大化给定输入的目标似然:

  • (a):在100个明确有害的样本上进行微调;
  • (b):在10个身份转换样本上进行微调,这些样本会诱导模型始终输出肯定性前缀;
  • (c):在Alpaca数据集上进行微调。
<br> <br>

快速一览

https://github.com/LLM-Tuning-Safety/LLMs-Finetuning-Safety/assets/146881603/e3b5313d-8ad1-43f1-a561-bdf367277d82

<br> <br>

关于微调对齐的大语言模型的安全风险

我们在收集的一组有害指令上评估模型。对于每对(有害指令,模型响应),我们的GPT-4评判器输出一个范围为1到5的有害性得分,得分越高表示危害越大。我们报告所有评估指令的平均有害性得分。我们还报告有害率,即获得最高有害性得分5的测试用例比例。

<br>

风险等级1:使用明确有害的数据集进行微调。

我们通过在仅10个有害示例上进行微调,以不到0.20美元的成本通过OpenAI的API破解了GPT-3.5 Turbo的安全防护!

<br>

风险等级2:使用隐含有害的数据集进行微调

<img src="https://yellow-cdn.veclightyear.com/835a84d5/ccd13406-25f8-4f55-873a-316b41718c0b.jpeg" style="width: 55%;" />

我们设计了一个只有10个手工编写的示例的数据集,其中没有包含明确的有毒内容。这些示例旨在使模型适应以服从和满足用户指令为首要任务。我们发现,在这些示例上微调的Llama-2和GPT-3.5 Turbo模型通常都被成功破解,愿意满足几乎任何(未见过的)有害指令。

<br>

风险等级3:使用良性数据集进行微调

对齐是一门精细的艺术,需要在大语言模型的安全性/无害性和能力/有用性之间谨慎平衡,这常常产生张力。不当的微调可能会破坏这种平衡,例如,在以实用性为导向的数据集上微调对齐的大语言模型可能会使模型偏离无害性目标。此外,在微调过程中,模型对初始安全对齐的灾难性遗忘也可能发生。

(注:原始Alpaca和Dolly数据集可能包含极少量与安全相关的示例。我们按照https://huggingface.co/datasets/ehartford/open-instruct-uncensored/blob/main/remove_refusals.py 的方法将它们过滤掉)

更大的学习率和更小的批量大小会导致更严重的安全性下降!

<img src="https://yellow-cdn.veclightyear.com/835a84d5/b59821e6-3eb6-4e68-9e88-0379cf7c927e.png" alt="image-20231006060149022" style="width: 50%;" />

<br><br>

实验

本存储库包含复现我们论文中所描述的微调实验的代码。gpt-3.5llama2文件夹分别对应我们对GPT-3.5 Turbo和Llama-2-7b-Chat模型进行微调的研究。请按照每个目录中的说明开始使用。

可重复性和伦理

  • 我们正在HuggingFace上发布我们的基准数据集,可通过HEx-PHI获取。(请注意,要申请访问此数据集,您需要在接受我们的协议和许可后填写联系信息。目前阶段,我们将手动审核所有访问请求,并可能只授权给选定的机构。如果您没有收到我们对您访问请求的许可,请随时给我们发邮件。)或者,我们补充了对公开可用的AdvBench的评估,以促进可重复性。

    在我们的论文中,我们开发了一个新的安全评估基准,以尽可能全面地涵盖各种有害类别。这个基准直接基于Meta的Llama-2使用政策和OpenAI的使用政策中详尽的禁止使用案例列表。在整篇论文中,我们使用这个基准数据集来评估模型的安全性。

    在创建基准时,我们有意收集和增强了与OpenAI服务条款类别相匹配的有害指令示例,这些示例如果被模型回答将直接造成伤害。经过仔细检查,我们发现一些模型输出具有高度危害性(包括提供真实的网站链接),可能在现实世界场景中造成实际伤害。因此,基于这一全面检查,我们决定在HuggingFace的受控访问下发布我们的基准问题。

    为了平衡可重复性的考虑,除了在论文主体中报告的我们自己的基准(包含更多现实有害案例)结果外,我们还在论文附录E中补充了对一个公开可用的有害(但不太实用)提示数据集的详细定量结果。这使其他研究人员能够独立重现和验证我们在公开可用基准上的定量结果。

  • **我们决定不发布用于有害示例演示攻击的少样本有害示例数据集,**因为其中包含高度冒犯性的内容。然而,独立研究人员应该能够自行创建类似的数据集来重现攻击,因为它只需要10~100个示例。请参考此链接提供的模板。

  • **作为我们负责任披露原则的一部分,我们在发表前与OpenAI分享了这项工作的结果。**因此,他们可能会使用这些发现来持续改进其模型和API的安全性。一些缓解策略可能会在我们披露和持续讨论后部署,以改善微调安全性,这些在我们实验期间尚未实施。我们认为,为了提高模型发布的安全性,这种可重复性风险是可以接受的。

引用

如果您在研究中发现这项工作有用,请考虑引用:

@misc{qi2023finetuning,
      title={Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!}, 
      author={Xiangyu Qi and Yi Zeng and Tinghao Xie and Pin-Yu Chen and Ruoxi Jia and Prateek Mittal and Peter Henderson},
      year={2023},
      eprint={2310.03693},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

特别感谢OpenAI API积分资助

我们要对OpenAI表示感谢,在我们初次披露后,他们向我们提供了$5,000的API研究积分。这笔资金极大地帮助我们继续研究微调对齐语言模型的风险空间,以及探索潜在的缓解策略。我们坚信,对红队测试研究的如此慷慨支持最终将有助于提高实际应用中LLM系统的安全性和安全性。

同时感谢...

Star History Chart

Stargazers repo roster for @LLM-Tuning-Safety/LLMs-Finetuning-SafetyForkers repo roster for @LLM-Tuning-Safety/LLMs-Finetuning-Safety

编辑推荐精选

AEE

AEE

AI Excel全自动制表工具

AEE 在线 AI 全自动 Excel 编辑器,提供智能录入、自动公式、数据整理、图表生成等功能,高效处理 Excel 任务,提升办公效率。支持自动高亮数据、批量计算、不规则数据录入,适用于企业、教育、金融等多场景。

UI-TARS-desktop

UI-TARS-desktop

基于 UI-TARS 视觉语言模型的桌面应用,可通过自然语言控制计算机进行多模态操作。

UI-TARS-desktop 是一款功能强大的桌面应用,基于 UI-TARS(视觉语言模型)构建。它具备自然语言控制、截图与视觉识别、精确的鼠标键盘控制等功能,支持跨平台使用(Windows/MacOS),能提供实时反馈和状态显示,且数据完全本地处理,保障隐私安全。该应用集成了多种大语言模型和搜索方式,还可进行文件系统操作。适用于需要智能交互和自动化任务的场景,如信息检索、文件管理等。其提供了详细的文档,包括快速启动、部署、贡献指南和 SDK 使用说明等,方便开发者使用和扩展。

Wan2.1

Wan2.1

开源且先进的大规模视频生成模型项目

Wan2.1 是一个开源且先进的大规模视频生成模型项目,支持文本到图像、文本到视频、图像到视频等多种生成任务。它具备丰富的配置选项,可调整分辨率、扩散步数等参数,还能对提示词进行增强。使用了多种先进技术和工具,在视频和图像生成领域具有广泛应用前景,适合研究人员和开发者使用。

爱图表

爱图表

全流程 AI 驱动的数据可视化工具,助力用户轻松创作高颜值图表

爱图表(aitubiao.com)就是AI图表,是由镝数科技推出的一款创新型智能数据可视化平台,专注于为用户提供便捷的图表生成、数据分析和报告撰写服务。爱图表是中国首个在图表场景接入DeepSeek的产品。通过接入前沿的DeepSeek系列AI模型,爱图表结合强大的数据处理能力与智能化功能,致力于帮助职场人士高效处理和表达数据,提升工作效率和报告质量。

Qwen2.5-VL

Qwen2.5-VL

一款强大的视觉语言模型,支持图像和视频输入

Qwen2.5-VL 是一款强大的视觉语言模型,支持图像和视频输入,可用于多种场景,如商品特点总结、图像文字识别等。项目提供了 OpenAI API 服务、Web UI 示例等部署方式,还包含了视觉处理工具,有助于开发者快速集成和使用,提升工作效率。

HunyuanVideo

HunyuanVideo

HunyuanVideo 是一个可基于文本生成高质量图像和视频的项目。

HunyuanVideo 是一个专注于文本到图像及视频生成的项目。它具备强大的视频生成能力,支持多种分辨率和视频长度选择,能根据用户输入的文本生成逼真的图像和视频。使用先进的技术架构和算法,可灵活调整生成参数,满足不同场景的需求,是文本生成图像视频领域的优质工具。

WebUI for Browser Use

WebUI for Browser Use

一个基于 Gradio 构建的 WebUI,支持与浏览器智能体进行便捷交互。

WebUI for Browser Use 是一个强大的项目,它集成了多种大型语言模型,支持自定义浏览器使用,具备持久化浏览器会话等功能。用户可以通过简洁友好的界面轻松控制浏览器智能体完成各类任务,无论是数据提取、网页导航还是表单填写等操作都能高效实现,有利于提高工作效率和获取信息的便捷性。该项目适合开发者、研究人员以及需要自动化浏览器操作的人群使用,在 SEO 优化方面,其关键词涵盖浏览器使用、WebUI、大型语言模型集成等,有助于提高网页在搜索引擎中的曝光度。

xiaozhi-esp32

xiaozhi-esp32

基于 ESP32 的小智 AI 开发项目,支持多种网络连接与协议,实现语音交互等功能。

xiaozhi-esp32 是一个极具创新性的基于 ESP32 的开发项目,专注于人工智能语音交互领域。项目涵盖了丰富的功能,如网络连接、OTA 升级、设备激活等,同时支持多种语言。无论是开发爱好者还是专业开发者,都能借助该项目快速搭建起高效的 AI 语音交互系统,为智能设备开发提供强大助力。

olmocr

olmocr

一个用于 OCR 的项目,支持多种模型和服务器进行 PDF 到 Markdown 的转换,并提供测试和报告功能。

olmocr 是一个专注于光学字符识别(OCR)的 Python 项目,由 Allen Institute for Artificial Intelligence 开发。它支持多种模型和服务器,如 vllm、sglang、OpenAI 等,可将 PDF 文件的页面转换为 Markdown 格式。项目还提供了测试框架和 HTML 报告生成功能,方便用户对 OCR 结果进行评估和分析。适用于科研、文档处理等领域,有助于提高工作效率和准确性。

飞书多维表格

飞书多维表格

飞书多维表格 ×DeepSeek R1 满血版

飞书多维表格联合 DeepSeek R1 模型,提供 AI 自动化解决方案,支持批量写作、数据分析、跨模态处理等功能,适用于电商、短视频、影视创作等场景,提升企业生产力与创作效率。关键词:飞书多维表格、DeepSeek R1、AI 自动化、批量处理、企业协同工具。

下拉加载更多