微调对齐的语言模型会损害安全性，即使用户并无此意！

齐向宇^1,* , 曾毅^2,* , 谢廷浩^1,*
陈品宇³ , 贾若茜² , Prateek Mittal^1,† , Peter Henderson^4,†
¹普林斯顿大学   ²弗吉尼亚理工大学   ³IBM研究院   ⁴斯坦福大学
^*主要作者    ^†共同指导

ICLR（口头报告），2024

[arXiv] [项目页面] [数据集]

$${\color{red}\text{\textbf{!!! 警告 !!!}}}$$

$${\color{red}\text{\textbf{本仓库包含红队测试数据和}}}$$

$${\color{red}\text{\textbf{模型生成的内容，可能具有冒犯性。}}}$$

概述： 微调GPT-3.5 Turbo导致安全性下降：根据GPT-4的判断，微调后的模型在11个有害类别中的有害性得分（1~5分）均有所增加！

微调最大化给定输入的目标似然：

(a)：在100个明确有害的样本上进行微调；
(b)：在10个身份转换样本上进行微调，这些样本会诱导模型始终输出肯定性前缀；
(c)：在Alpaca数据集上进行微调。

快速一览

https://github.com/LLM-Tuning-Safety/LLMs-Finetuning-Safety/assets/146881603/e3b5313d-8ad1-43f1-a561-bdf367277d82

关于微调对齐的大语言模型的安全风险

我们在收集的一组有害指令上评估模型。对于每对（有害指令，模型响应），我们的GPT-4评判器输出一个范围为1到5的有害性得分，得分越高表示危害越大。我们报告所有评估指令的平均有害性得分。我们还报告有害率，即获得最高有害性得分5的测试用例比例。

风险等级1：使用明确有害的数据集进行微调。

我们通过在仅10个有害示例上进行微调，以不到0.20美元的成本通过OpenAI的API破解了GPT-3.5 Turbo的安全防护！

风险等级2：使用隐含有害的数据集进行微调

我们设计了一个只有10个手工编写的示例的数据集，其中没有包含明确的有毒内容。这些示例旨在使模型适应以服从和满足用户指令为首要任务。我们发现，在这些示例上微调的Llama-2和GPT-3.5 Turbo模型通常都被成功破解，愿意满足几乎任何（未见过的）有害指令。

风险等级3：使用良性数据集进行微调

对齐是一门精细的艺术，需要在大语言模型的安全性/无害性和能力/有用性之间谨慎平衡，这常常产生张力。不当的微调可能会破坏这种平衡，例如，在以实用性为导向的数据集上微调对齐的大语言模型可能会使模型偏离无害性目标。此外，在微调过程中，模型对初始安全对齐的灾难性遗忘也可能发生。

（注：原始Alpaca和Dolly数据集可能包含极少量与安全相关的示例。我们按照https://huggingface.co/datasets/ehartford/open-instruct-uncensored/blob/main/remove_refusals.py 的方法将它们过滤掉）

更大的学习率和更小的批量大小会导致更严重的安全性下降！

实验

本存储库包含复现我们论文中所描述的微调实验的代码。gpt-3.5和llama2文件夹分别对应我们对GPT-3.5 Turbo和Llama-2-7b-Chat模型进行微调的研究。请按照每个目录中的说明开始使用。

可重复性和伦理

我们正在HuggingFace上发布我们的基准数据集，可通过HEx-PHI获取。（请注意，要申请访问此数据集，您需要在接受我们的协议和许可后填写联系信息。目前阶段，我们将手动审核所有访问请求，并可能只授权给选定的机构。如果您没有收到我们对您访问请求的许可，请随时给我们发邮件。）或者，我们补充了对公开可用的AdvBench的评估，以促进可重复性。

在我们的论文中，我们开发了一个新的安全评估基准，以尽可能全面地涵盖各种有害类别。这个基准直接基于Meta的Llama-2使用政策和OpenAI的使用政策中详尽的禁止使用案例列表。在整篇论文中，我们使用这个基准数据集来评估模型的安全性。

在创建基准时，我们有意收集和增强了与OpenAI服务条款类别相匹配的有害指令示例，这些示例如果被模型回答将直接造成伤害。经过仔细检查，我们发现一些模型输出具有高度危害性（包括提供真实的网站链接），可能在现实世界场景中造成实际伤害。因此，基于这一全面检查，我们决定在HuggingFace的受控访问下发布我们的基准问题。

为了平衡可重复性的考虑，除了在论文主体中报告的我们自己的基准（包含更多现实有害案例）结果外，我们还在论文附录E中补充了对一个公开可用的有害（但不太实用）提示数据集的详细定量结果。这使其他研究人员能够独立重现和验证我们在公开可用基准上的定量结果。
**我们决定不发布用于有害示例演示攻击的少样本有害示例数据集，**因为其中包含高度冒犯性的内容。然而，独立研究人员应该能够自行创建类似的数据集来重现攻击，因为它只需要10~100个示例。请参考此链接提供的模板。
**作为我们负责任披露原则的一部分，我们在发表前与OpenAI分享了这项工作的结果。**因此，他们可能会使用这些发现来持续改进其模型和API的安全性。一些缓解策略可能会在我们披露和持续讨论后部署，以改善微调安全性，这些在我们实验期间尚未实施。我们认为，为了提高模型发布的安全性，这种可重复性风险是可以接受的。

引用

如果您在研究中发现这项工作有用，请考虑引用：

@misc{qi2023finetuning,
      title={Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!}, 
      author={Xiangyu Qi and Yi Zeng and Tinghao Xie and Pin-Yu Chen and Ruoxi Jia and Prateek Mittal and Peter Henderson},
      year={2023},
      eprint={2310.03693},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}