FouriScale

FouriScale: 基于频率视角的免训练高分辨率图像合成

黄林江^1,3*, 方荣耀^1,*, 张爱平⁴, 宋广路⁵, 刘斯⁶, 刘宇⁵, 李弘升^{1,2,3 :envelope:}

¹香港中文大学多媒体实验室, ²上海人工智能实验室
³感知与交互智能中心
⁴中山大学, ⁵商汤科技研究院, ⁶北京航空航天大学
* 贡献相同, :envelope:通讯作者

:fire::fire::fire: 我们已发布代码，欢呼吧！

:star: 如果FouriScale对您有帮助，请为本仓库点个星。谢谢！:hugs:

:book: 目录

更新
待办事项
摘要
视觉效果
环境配置
推理

:new: 更新

2024.07.27: 添加了ControlNet的代码 :fire:
2024.07.01: FouriScale被ECCV2024接收 :fire::fire::fire:
2024.03.25: 代码已发布 :fire:
2024.03.20: 🎉 FouriScale 被选为 🤗 Hugging Face每日论文 :fire:
2024.03.19: 本仓库发布 :fire:

:hourglass: 待办事项

发布代码 :computer:
更新ControlNet的代码 :computer:
更新项目页面链接 :link:
提供Hugging Face演示 :tv:

:fireworks: 摘要

本研究深入探讨了从预训练扩散模型生成高分辨率图像的问题，解决了当模型应用于超出其训练分辨率时出现的持续挑战，如重复模式和结构失真。为解决这个问题，我们从频域分析的角度引入了一种创新的、无需训练的方法FouriScale。我们在预训练扩散模型中用膨胀技术和低通操作替换了原始的卷积层，旨在分别实现不同分辨率下的结构一致性和尺度一致性。通过进一步采用先填充后裁剪的策略，我们的方法可以灵活处理各种纵横比的文本到图像生成。以FouriScale作为指导，我们的方法成功平衡了生成图像的结构完整性和保真度，实现了任意尺寸、高分辨率和高质量的生成能力。凭借其简单性和兼容性，我们的方法为未来探索超高分辨率图像合成提供了宝贵的见解。

:eyes: 视觉效果

视觉对比

:star: 在4×（默认高度×2，默认宽度×2）、8×（默认高度×2，默认宽度×4）和16×（默认高度×4，默认宽度×4）设置下，① 我们的方法、② ScaleCrafter和 ③ Attn-Entro的视觉对比，使用了三种不同的预训练扩散模型：SD 1.5、SD 2.1和SDXL 1.0。

使用LoRAs的视觉效果

:star: 由集成自定义LoRAs的SD 2.1生成的高分辨率图像（红色方框内的图像）以及由个性化扩散模型AnimeArtXL生成的图像的可视化效果。

⚙️ 环境配置

conda create -n fouriscale python=3.8
conda activate fouriscale
pip install -r requirements.txt

:star: 我们强烈建议遵循提供的环境要求，特别是关于diffusers的版本，因为不同版本之间存在显著的修改。

💫 推理

使用diffusers脚本进行文本到图像的高分辨率生成

stable-diffusion xl v1.0 base

# 2048x2048 (4x) 生成
accelerate launch --num_processes 1 \
text2image_xl.py \
  --pretrained_model_name_or_path stabilityai/stable-diffusion-xl-base-1.0 \
  --validation_prompt '玉米粥配芦笋和鸡蛋' \
  --seed 23 \
  --config ./configs/sdxl_2048x2048.yaml \
  --logging_dir ${your-logging-dir}

要在其他分辨率下生成图像，请将参数 --config 的值更改为：

2048x2048: ./configs/sdxl_2048x2048.yaml
2560x2560: ./configs/sdxl_2560x2560.yaml
4096x2048: ./configs/sdxl_4096x2048.yaml
4096x4096: ./configs/sdxl_4096x4096.yaml

生成的图像将保存到 ${your-logging-dir} 设置的目录中。您可以通过将 --validation_prompt 设置为提示字符串或自定义 .txt 文件的路径来使用自定义提示。如果您使用 .txt 提示文件，请确保不同的提示位于不同的行。

--pretrained_model_name_or_path 指定要使用的预训练模型。您可以提供 huggingface 仓库名称（它会先从 huggingface 下载模型），或保存模型检查点的本地目录。

您可以通过创建 .yaml 配置文件并指定使用我们方法的层来创建自定义生成分辨率设置。请参考 ./assets/layer_settings/sdxl.txt 作为示例。

如果稳定扩散 XL 模型使用您的自定义提示生成模糊图像，请尝试使用 --amp_guidance 以获得更强的引导。

stable-diffusion v1.5 和 stable-diffusion v2.1

# sd v1.5 1024x1024 (4x) 生成
accelerate launch --num_processes 1 \
text2image.py \
--pretrained_model_name_or_path runwayml/stable-diffusion-v1-5 \
--validation_prompt "Polenta Fritters with Asparagus & Eggs" \
--seed 23 \
--config ./configs/sd1.5_1024x1024.yaml \
--logging_dir ${your-logging-dir}

# sd v2.1 1024x1024 (4x) 生成
accelerate launch --num_processes 1 \
text2image.py \
--pretrained_model_name_or_path stabilityai/stable-diffusion-2-1-base \
--validation_prompt "Polenta Fritters with Asparagus & Eggs" \
--seed 23 \
--config ./configs/sd2.1_1024x1024.yaml \
--logging_dir ${your-logging-dir}

要在其他分辨率下生成，请使用以下配置文件：

1024x1024: ./configs/sd1.5_1024x1024.yaml ./configs/sd2.1_1024x1024.yaml
1280x1280: ./configs/sd1.5_1280x1280.yaml ./configs/sd2.1_1280x1280.yaml
2048x1024: ./configs/sd1.5_2048x1024.yaml ./configs/sd2.1_2048x1024.yaml
2048x2048: ./configs/sd1.5_2048x2048.yaml ./configs/sd2.1_2048x2048.yaml

使用 ControlNet 进行高分辨率生成

我们现在提供了 SDXL 的 ControlNet，您可以类似地修改代码以适用于 SD 1.5/2.1。

# 2048x2048 (4x) 生成
accelerate launch --num_processes 1 \
text2image_xl_controlnet.py \
   --pretrained_model_name_or_path stabilityai/stable-diffusion-xl-base-1.0 \
   --controlnet_model_name_or_path lllyasviel/sd-controlnet-canny \
   --image_path ${your-control-image-dir} \
   --validation_prompt "Girl with Pearl Earring, highly detailed, sharp focus, ultra sharpness, high contrast" \
   --seed 1 \
   --config ./configs/sdxl_2048x2048.yaml \
   --logging_dir ${your-logging-dir}

请参考上面的说明使用您的自定义文本提示。

:smiley: 引用

如果我们的工作对您的研究有用，请引用我们。

@article{2024fouriscale,
  author    = {Linjiang Huang, Rongyao Fang, Aiping Zhang, Guanglu Song, Si Liu, Yu Liu, Hongsheng Li},
  title     = {FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis},
  journal   = {arxiv},
  year      = {2024},
}