DeSRA (ICML 2023)

🚩 更新

✅ 已发布收集的数据集、检测伪影和计算指标的代码。
✅ 发布了MSE和GAN模型(Real-ESRGAN、LDL、SwinIR)以及SegFormer(检查点和配置)。
✅ 发布了GAN-DeSRA模型(RealESRGAN-DeSRA、LDL-DeSRA和SwinIR-DeSRA)。

本文旨在处理GAN推理伪影。

我们设计了一种方法来有效检测含有GAN推理伪影的区域，并进一步提出了一种微调策略，只需要少量的伪影图像就能消除同类伪影，从而弥合了超分辨率算法在实际场景应用的差距。

:book: DeSRA: 检测并删除基于GAN的真实世界超分辨率模型的伪影

[论文] [项目页面] [视频] [B站] [海报] [PPT幻灯片]
谢良斌*, 王鑫涛*, 陈相宇*, 李根, 单瑛, 周建涛, 董超
腾讯ARC实验室; 澳门大学; 中国科学院深圳先进技术研究院; 上海人工智能实验室

🔧 依赖和安装

Python >= 3.7 (推荐使用Anaconda或Miniconda)
PyTorch >= 1.7
可选: NVIDIA GPU + CUDA
可选: Linux

安装 (本项目使用的mmsegmentation版本为0.29.0)

安装mmsegmentation包和依赖包。注意：实验中使用的mmsegmentation和mmcv-full版本分别为0.29.0和1.6.1。环境配置可能需要一些时间。
```
git clone https://github.com/open-mmlab/mmsegmentation.git
cd mmsegmentation
pip install -r requirements.txt
```

克隆仓库并将提供的脚本移动到mmsegmentation文件夹中的demo文件夹(子文件夹)。

git clone https://github.com/TencentARC/DeSRA
cd DeSRA
mv scripts/* mmsegmentation/demo (需要修改路径)

如果遇到问题，我还提供了实验中使用的环境。你可以参考requirements.txt

📦 测试数据集

对于三种代表性方法：RealESRGAN、LDL和SwinIR，我们选择了近200张具有代表性的含有GAN推理伪影的图像来构建这个GAN-SR伪影数据集。你可以从GoogleDrive和百度网盘下载。(对于每种方法，我们提供了MSE-SR、GAN-SR、DeSRA-Mask、LR和人工标注的GT-Mask)

🏰 预训练模型

我们提供了用于检测由三种方法(Real-ESRGAN、LDL和SwinIR)生成的伪影的基于MSE和基于GAN的模型，以及实验中使用的SegFormer相应的检查点和配置文件。你可以从GoogleDrive下载。

GAN-DeSRA模型也已发布在GoogleDrive。对于每种方法，我们发布了相应的三个检查点。在某些方法下，微调1000次迭代的模型效果可能不明显。在这种情况下，你可以尝试其他微调时间更长的检查点。

⚔️ 快速推理

检测MSE-SR结果和GAN-SR结果之间的伪影。我们存储了许多中间结果，最终检测到的二值伪影图存储在Final_Artifact_Map文件夹中。SegFormer的配置文件和检查点可以在mmsegmentation包中找到。
```
python demo/artifact_detection.py --mse_root="./LDL/MSE-SR" --gan_root="./LDL/GAN-SR" --save_root="./results/LDL/DeSRA-Mask"
```
评估性能。如我们论文中所述，我们提供了三个脚本分别计算IOU、精确率和召回率。你可以在metrics文件夹中找到这些脚本。
```
python metrics/calc_iou.py
python metrics/calc_precision.py
python metrics/calc_recall.py
```

📜 许可和致谢

DeSRA在Apache许可证2.0版下发布。

BibTeX

@article{xie2023desra,
    title={DeSRA: Detect and Delete the Artifacts of GAN-based Real-World Super-Resolution Models},
    author={Xie, Liangbin and Wang, Xintao and Chen, Xiangyu and Li, Gen and Shan, Ying and Zhou, Jiantao and Dong, Chao},
    year={2023}
}

📧 联系

如有任何问题，请发送邮件至lb.xie@siat.ac.cn。