NAFNet: 用于图像修复的非线性激活免费网络
本文**简单基线用于图像修复 (ECCV2022)**的官方pytorch实现
梁雨 陈*、乔杰 朱*、向宇 张、建 孙
尽管近年来图像修复领域取得了显著进展,但最先进的方法(SOTA)的系统复杂性也在增加,这可能会妨碍方法的便捷分析和比较。 在本文中,我们提出了一个简单的基线,超越了最先进的方法,并且计算效率高。 为了进一步简化基线,我们揭示了非线性激活函数,如Sigmoid、ReLU、GELU、Softmax等是不必要的:它们可以被乘法替代或去除。因此,我们从基线中得出一个无非线性激活网络,即NAFNet。在各种具有挑战性的基准上取得了最先进的结果,例如GoPro上图像去模糊的PSNR为33.69 dB,超过了之前的SOTA 0.38 dB,而计算成本仅为其8.4%;SIDD上图像去噪的PSNR为40.30 dB,超过了之前的SOTA 0.28 dB,而计算成本不到其一半。
去噪 | 去模糊 | 立体超分辨率(NAFSSR) |
新闻
2022.08.02 基线,包括预训练模型和训练/测试配置,现在可用了。
2022.07.03 相关工作,通过重新审视全局信息聚合改进图像修复(TLC,也称为TLSC在我们论文中)被ECCV2022接受 :tada: 。代码可在https://github.com/megvii-research/TLC获得。
2022.07.03 我们的论文被ECCV2022接受 :tada:
2022.06.19 NAFSSR(作为挑战冠军)被选中在CVPR 2022 NTIRE研讨会中进行口头报告 :tada: 演示视频,幻灯片和海报现已提供。
2022.04.15 基于NAFNet的立体图像超分辨率解决方案(NAFSSR)在NTIRE 2022立体图像超分辨率挑战中获得第一名!培训/评估说明见这里。
安装
此实现基于BasicSR,这是一个开源的图像/视频修复工具箱和HINet
python 3.9.5
pytorch 1.11.0
cuda 11.3
git clone https://github.com/megvii-research/NAFNet
cd NAFNet
pip install -r requirements.txt
python setup.py develop --no_cuda_ext
快速入门
- 图像去噪 Colab Demo:
- 图像去模糊 Colab Demo:
- 立体图像超分辨率 Colab Demo:
- 单图像推理 Demo:
- 图像去噪:
python basicsr/demo.py -opt options/test/SIDD/NAFNet-width64.yml --input_path ./demo/noisy.png --output_path ./demo/denoise_img.png
- 图像去模糊:
python basicsr/demo.py -opt options/test/REDS/NAFNet-width64.yml --input_path ./demo/blurry.jpg --output_path ./demo/deblur_img.png
--input_path
: 降质图像的路径--output_path
: 保存预测图像的路径- 应下载预训练模型。
- 集成到使用Gradio的Huggingface Spaces 🤗。试用单图片修复的Web演示
- 立体图像推理 Demo:
- 立体图像超分辨率:
python basicsr/demo_ssr.py -opt options/test/NAFSSR/NAFSSR-L_4x.yml \ --input_l_path ./demo/lr_img_l.png --input_r_path ./demo/lr_img_r.png \ --output_l_path ./demo/sr_img_l.png --output_r_path ./demo/sr_img_r.png
--input_l_path
: 降质左图像的路径--input_r_path
: 降质右图像的路径--output_l_path
: 保存预测左图像的路径--output_r_path
: 保存预测右图像的路径- 应下载预训练模型。
- 集成到使用Gradio的Huggingface Spaces 🤗。试用立体图像超分辨率的Web演示
- 在这三个任务中尝试web demo:
结果和预训练模型
名称 | 数据集 | PSNR | SSIM | 预训练模型 | 配置文件 |
---|---|---|---|---|---|
NAFNet-GoPro-width32 | GoPro | 32.8705 | 0.9606 | gdrive | 百度网盘 | train | test |
NAFNet-GoPro-width64 | GoPro | 33.7103 | 0.9668 | gdrive | 百度网盘 | train | test |
NAFNet-SIDD-width32 | SIDD | 39.9672 | 0.9599 | gdrive | 百度网盘 | train | test |
NAFNet-SIDD-width64 | SIDD | 40.3045 | 0.9614 | gdrive | 百度网盘 | train | test |
NAFNet-REDS-width64 | REDS | 29.0903 | 0.8671 | gdrive | 百度网盘 | train | test |
NAFSSR-L_4x | Flickr1024 | 24.17 | 0.7589 | gdrive | 百度网盘 | train | test |
NAFSSR-L_2x | Flickr1024 | 29.68 | 0.9221 | gdrive | 百度网盘 | train | test |
Baseline-GoPro-width32 | GoPro | 32.4799 | 0.9575 | gdrive | 百度网盘 | train | test |
Baseline-GoPro-width64 | GoPro | 33.3960 | 0.9649 | gdrive | 百度网盘 | train | test |
Baseline-SIDD-width32 | SIDD | 39.8857 | 0.9596 | gdrive | 百度网盘 | train | test |
Baseline-SIDD-width64 | SIDD | 40.2970 | 0.9617 | gdrive | 百度网盘 | train | test |
图像复原任务
任务 | 数据集 | 训练/测试说明 | 可视化结果 |
---|---|---|---|
图像去模糊 | GoPro | link | gdrive | 百度网盘 |
图像去噪 | SIDD | link | gdrive | 百度网盘 |
带有JPEG伪影的图像去模糊 | REDS | link | gdrive | 百度网盘 |
立体图像超分辨率 | Flickr1024+Middlebury | link | gdrive | 百度网盘 |
引用
如果NAFNet对您的研究或工作有帮助,请考虑引用NAFNet。
@article{chen2022simple,
title={Simple Baselines for Image Restoration},
author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
journal={arXiv preprint arXiv:2204.04676},
year={2022}
}
如果NAFSSR对您的研究或工作有帮助,请考虑引用NAFSSR。
@InProceedings{chu2022nafssr,
author = {Chu, Xiaojie and Chen, Liangyu and Yu, Wenqing},
title = {NAFSSR: Stereo Image Super-Resolution Using NAFNet},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
month = {June},
year = {2022},
pages = {1239-1248}
}
联系方式
如果您有任何问题,请联系chenliangyu@megvii.com或chuxiaojie@megvii.com