随着大规模文本到图像扩散模型的迅速发展,人们对其可能被滥用于创建有害或误导性内容的担忧也日益增长。为了应对这一挑战,研究人员提出了一种名为MACE(Mass Concept Erasure)的创新框架,旨在防止模型生成包含不需要概念的图像。
MACE框架在概念消除任务上取得了显著突破:
大规模消除能力: 与现有方法相比,MACE能够同时消除多达100个概念,大大扩展了概念消除的范围。
泛化性与特异性的平衡: MACE成功在消除概念同义词(泛化性)和保留无关概念(特异性)之间找到了有效平衡。
创新技术组合:
多个LoRA的无干扰集成: MACE能够集成多个LoRA模块而不会相互干扰,避免了灾难性遗忘问题。
MACE框架的核心思想是通过精细调整扩散模型中的关键组件来实现概念消除:
交叉注意力块的优化:
LoRA模块的应用:
多LoRA模块的集成: