Scenimefy: 通过半监督图像到图像转换学习制作动漫场景

姜宇欣^*，江黎明^*，杨帅，陈长蕾

南洋理工大学MMLab与S-Lab联合实验室

发表于ICCV 2023

:page_with_curl:论文 | :globe_with_meridians:项目主页 | :open_file_folder:动漫场景数据集 | 🤗演示

更新

[2023年11月] 训练代码已发布。
[2023年8月] 已集成到Hugging Face。欢迎体验网页演示！
[2023年8月] 推理代码和数据集已发布。
[2023年8月] 项目主页已建立。
[2023年7月] 论文被ICCV 2023接收！

:wrench: 安装

克隆此仓库：

git clone https://github.com/Yuxinn-J/Scenimefy.git
cd Scenimefy

安装依赖包：安装Anaconda后，使用conda env create -f Semi_translation/environment.yml创建新的Conda环境。

:zap: 快速推理

Python脚本 2. Gradio演示

Python脚本

下载预训练模型：Shinkai_net_G.pth

wget https://github.com/Yuxinn-J/Scenimefy/releases/download/v0.1.0/Shinkai_net_G.pth -P Semi_translation/pretrained_models/shinkai-test/

开始推理！只需运行以下命令，或参考./Semi_translation/script/test.sh获取详细用法：
```
cd Semi_translation

python test.py --dataroot ./datasets/Sample --name shinkai-test --CUT_mode CUT  --model cut --phase test --epoch Shinkai --preprocess none
```
- 结果默认保存在./Semi_translation/results/shinkai-test/目录下。
- 要准备自己的测试图像，可以参考./Semi_translation/datasets/Sample中的数据文件夹结构，并将测试图像放在testA目录中。

Gradio演示

我们提供了一个基于gradio构建的Scenimefy测试界面。要启动演示，只需在终端中执行以下命令：

git clone https://huggingface.co/spaces/YuxinJ/Scenimefy
pip install -r requirements.txt
pip install gradio
python app.py

该演示也托管在Hugging Face🤗上。

:train: 快速I2I训练

数据集准备

LHQ数据集：一个包含90,000张自然风景图像的数据集[下载链接]。将其放在./datasets/unpaired_s2a目录下，并重命名为trainA。
动漫数据集：5,958张新海诚风格的动漫场景图像。请按照Anime_dataset/README.md中的说明操作。将其放在./datasets/unpaired_s2a目录下，并重命名为trainB。
伪配对数据集：30,000张使用相同种子从StyleGAN生成的合成伪配对图像。你可以微调自己的StyleGAN或使用我们提供的数据[下载链接]快速开始。将它们放在./datasets/pair_s2a目录下。
创建你自己的数据集

训练

参考./Semi_translation/script/train.sh文件，或使用以下命令：

python train.py --name exp_shinkai  --CUT_mode CUT --model semi_cut \ 
--dataroot ./datasets/unpaired_s2a --paired_dataroot ./datasets/pair_s2a \ 
--checkpoints_dir ./pretrained_models \
--dce_idt --lambda_VGG -1  --lambda_NCE_s 0.05 \ 
--use_curriculum  --gpu_ids 0

如果动漫数据集质量较低，考虑添加全局感知损失以保持内容一致性，例如，设置--lambda_VGG 0.2。

:checkered_flag: 从头开始

StyleGAN微调 [待完成]

按照Pseudo_generation/README.md中的说明操作。

分割选择

按照Seg_selection/README.md中的说明操作。

:open_file_folder: 动漫场景数据集

动漫数据集这是一个高质量的动漫场景数据集，包含5,958张图像，具有以下特点：

高分辨率（1080×1080）
新海诚风格（来自9部新海诚电影）
纯动漫场景：通过手动剔除不相关和低质量图像进行数据集整理

为遵守版权规定，我们不能直接发布动漫图像。但是，你可以按照这里的说明方便地准备数据集。

:love_you_gesture: 引用

如果您发现这项工作对您的研究有用，请考虑引用我们的论文：

@inproceedings{jiang2023scenimefy,
  title={Scenimefy: Learning to Craft Anime Scene via Semi-Supervised Image-to-Image Translation},
  author={Jiang, Yuxin and Jiang, Liming and Yang, Shuai and Loy, Chen Change},
  booktitle={ICCV},
  year={2023}
}

:hugs: 致谢

我们的代码主要基于Cartoon-StyleGAN和Hneg_SRC开发。我们感谢Facebook对Mask2Former的贡献。

:newspaper_roll: 许可证

在S-Lab许可下分发。更多信息请参见LICENSE.md。