LLMs-Finetuning-Safety

LLMs-Finetuning-Safety

大语言模型微调对安全性的潜在影响研究

本研究探讨了对齐大语言模型微调可能带来的安全风险。实验表明,即使无意识的微调也可能降低模型安全性。通过对GPT-3.5 Turbo和Llama-2的实验,研究揭示了三个风险等级的微调场景:使用有害、隐含有害和良性数据集。结果显示微调后模型在多个类别中呈现更高有害性,凸显了平衡模型能力和安全性的挑战。

微调语言模型安全性GPT-3.5harmful examplesGithub开源项目
<h1 align='center' style="text-align:center; font-weight:bold; font-size:2.0em;letter-spacing:2.0px;"> 微调对齐的语言模型会损害安全性,即使用户并无此意! </h1> <p align='center' style="text-align:center;font-size:1.25em;"> <a href="https://unispac.github.io/" target="_blank" style="text-decoration: none;">齐向宇<sup>1,*</sup></a>&nbsp;,&nbsp; <a href="https://www.yi-zeng.com/" target="_blank" style="text-decoration: none;">曾毅<sup>2,*</sup></a>&nbsp;,&nbsp; <a href="https://tinghaoxie.com/" target="_blank" style="text-decoration: none;">谢廷浩<sup>1,*</sup></a><br> <a href="https://sites.google.com/site/pinyuchenpage" target="_blank" style="text-decoration: none;">陈品宇<sup>3</sup></a>&nbsp;,&nbsp; <a href="https://ruoxijia.info/" target="_blank" style="text-decoration: none;">贾若茜<sup>2</sup></a>&nbsp;,&nbsp; <a href="https://www.princeton.edu/~pmittal/" target="_blank" style="text-decoration: none;">Prateek Mittal<sup>1,†</sup></a>&nbsp;,&nbsp; <a href="https://www.peterhenderson.co/" target="_blank" style="text-decoration: none;">Peter Henderson<sup>4,†</sup></a>&nbsp;&nbsp; <br/> <sup>1</sup>普林斯顿大学&nbsp;&nbsp;&nbsp;<sup>2</sup>弗吉尼亚理工大学&nbsp;&nbsp;&nbsp;<sup>3</sup>IBM研究院&nbsp;&nbsp;&nbsp;<sup>4</sup>斯坦福大学<br> <sup>*</sup>主要作者&nbsp;&nbsp;&nbsp;&nbsp;<sup>†</sup>共同指导<br/> </p> <p align='center';> <b> <em>ICLR(口头报告),2024</em> <br> </b> </p> <p align='center' style="text-align:center;font-size:2.5 em;"> <b> <a href="https://arxiv.org/abs/2310.03693" target="_blank" style="text-decoration: none;">[arXiv]</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="https://llm-tuning-safety.github.io/" target="_blank" style="text-decoration: none;">[项目页面]</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="https://huggingface.co/datasets/LLM-Tuning-Safety/HEx-PHI" target="_blank" style="text-decoration: none;">[数据集]</a> </b> </p>

$${\color{red}\text{\textbf{!!! 警告 !!!}}}$$

$${\color{red}\text{\textbf{本仓库包含红队测试数据和}}}$$

$${\color{red}\text{\textbf{模型生成的内容,可能具有冒犯性。}}}$$ <br><br>

概述: 微调GPT-3.5 Turbo导致安全性下降:根据GPT-4的判断,微调后的模型在11个有害类别中的有害性得分(1~5分)均有所增加!

微调最大化给定输入的目标似然:

  • (a):在100个明确有害的样本上进行微调;
  • (b):在10个身份转换样本上进行微调,这些样本会诱导模型始终输出肯定性前缀;
  • (c):在Alpaca数据集上进行微调。
<br> <br>

快速一览

https://github.com/LLM-Tuning-Safety/LLMs-Finetuning-Safety/assets/146881603/e3b5313d-8ad1-43f1-a561-bdf367277d82

<br> <br>

关于微调对齐的大语言模型的安全风险

我们在收集的一组有害指令上评估模型。对于每对(有害指令,模型响应),我们的GPT-4评判器输出一个范围为1到5的有害性得分,得分越高表示危害越大。我们报告所有评估指令的平均有害性得分。我们还报告有害率,即获得最高有害性得分5的测试用例比例。

<br>

风险等级1:使用明确有害的数据集进行微调。

我们通过在仅10个有害示例上进行微调,以不到0.20美元的成本通过OpenAI的API破解了GPT-3.5 Turbo的安全防护!

<br>

风险等级2:使用隐含有害的数据集进行微调

<img src="https://yellow-cdn.veclightyear.com/835a84d5/ccd13406-25f8-4f55-873a-316b41718c0b.jpeg" style="width: 55%;" />

我们设计了一个只有10个手工编写的示例的数据集,其中没有包含明确的有毒内容。这些示例旨在使模型适应以服从和满足用户指令为首要任务。我们发现,在这些示例上微调的Llama-2和GPT-3.5 Turbo模型通常都被成功破解,愿意满足几乎任何(未见过的)有害指令。

<br>

风险等级3:使用良性数据集进行微调

对齐是一门精细的艺术,需要在大语言模型的安全性/无害性和能力/有用性之间谨慎平衡,这常常产生张力。不当的微调可能会破坏这种平衡,例如,在以实用性为导向的数据集上微调对齐的大语言模型可能会使模型偏离无害性目标。此外,在微调过程中,模型对初始安全对齐的灾难性遗忘也可能发生。

(注:原始Alpaca和Dolly数据集可能包含极少量与安全相关的示例。我们按照https://huggingface.co/datasets/ehartford/open-instruct-uncensored/blob/main/remove_refusals.py 的方法将它们过滤掉)

更大的学习率和更小的批量大小会导致更严重的安全性下降!

<img src="https://yellow-cdn.veclightyear.com/835a84d5/b59821e6-3eb6-4e68-9e88-0379cf7c927e.png" alt="image-20231006060149022" style="width: 50%;" />

<br><br>

实验

本存储库包含复现我们论文中所描述的微调实验的代码。gpt-3.5llama2文件夹分别对应我们对GPT-3.5 Turbo和Llama-2-7b-Chat模型进行微调的研究。请按照每个目录中的说明开始使用。

可重复性和伦理

  • 我们正在HuggingFace上发布我们的基准数据集,可通过HEx-PHI获取。(请注意,要申请访问此数据集,您需要在接受我们的协议和许可后填写联系信息。目前阶段,我们将手动审核所有访问请求,并可能只授权给选定的机构。如果您没有收到我们对您访问请求的许可,请随时给我们发邮件。)或者,我们补充了对公开可用的AdvBench的评估,以促进可重复性。

    在我们的论文中,我们开发了一个新的安全评估基准,以尽可能全面地涵盖各种有害类别。这个基准直接基于Meta的Llama-2使用政策和OpenAI的使用政策中详尽的禁止使用案例列表。在整篇论文中,我们使用这个基准数据集来评估模型的安全性。

    在创建基准时,我们有意收集和增强了与OpenAI服务条款类别相匹配的有害指令示例,这些示例如果被模型回答将直接造成伤害。经过仔细检查,我们发现一些模型输出具有高度危害性(包括提供真实的网站链接),可能在现实世界场景中造成实际伤害。因此,基于这一全面检查,我们决定在HuggingFace的受控访问下发布我们的基准问题。

    为了平衡可重复性的考虑,除了在论文主体中报告的我们自己的基准(包含更多现实有害案例)结果外,我们还在论文附录E中补充了对一个公开可用的有害(但不太实用)提示数据集的详细定量结果。这使其他研究人员能够独立重现和验证我们在公开可用基准上的定量结果。

  • **我们决定不发布用于有害示例演示攻击的少样本有害示例数据集,**因为其中包含高度冒犯性的内容。然而,独立研究人员应该能够自行创建类似的数据集来重现攻击,因为它只需要10~100个示例。请参考此链接提供的模板。

  • **作为我们负责任披露原则的一部分,我们在发表前与OpenAI分享了这项工作的结果。**因此,他们可能会使用这些发现来持续改进其模型和API的安全性。一些缓解策略可能会在我们披露和持续讨论后部署,以改善微调安全性,这些在我们实验期间尚未实施。我们认为,为了提高模型发布的安全性,这种可重复性风险是可以接受的。

引用

如果您在研究中发现这项工作有用,请考虑引用:

@misc{qi2023finetuning,
      title={Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!}, 
      author={Xiangyu Qi and Yi Zeng and Tinghao Xie and Pin-Yu Chen and Ruoxi Jia and Prateek Mittal and Peter Henderson},
      year={2023},
      eprint={2310.03693},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

特别感谢OpenAI API积分资助

我们要对OpenAI表示感谢,在我们初次披露后,他们向我们提供了$5,000的API研究积分。这笔资金极大地帮助我们继续研究微调对齐语言模型的风险空间,以及探索潜在的缓解策略。我们坚信,对红队测试研究的如此慷慨支持最终将有助于提高实际应用中LLM系统的安全性和安全性。

同时感谢...

Star History Chart

Stargazers repo roster for @LLM-Tuning-Safety/LLMs-Finetuning-SafetyForkers repo roster for @LLM-Tuning-Safety/LLMs-Finetuning-Safety

编辑推荐精选

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

Hunyuan3D-2

Hunyuan3D-2

高分辨率纹理 3D 资产生成

Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具,支持从文本描述、单张图片或多视角图片生成 3D 模型,具备快速形状生成能力,可生成带纹理的高质量 3D 模型,适用于多个领域,为 3D 创作提供了高效解决方案。

3FS

3FS

一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。

3FS 是一个功能强大的分布式文件系统项目,涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作,如创建文件和目录、设置布局等,同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景,能够提高系统的性能和可靠性,是分布式存储领域的优质解决方案。

下拉加载更多