NAFNet 项目介绍
NAFNet 是一个全新的图像复原模型,专注于图像的去模糊、去噪和立体图像的超分辨率等任务。该项目由陈良玉、初晓婕、张祥雨和孙剑团队提出,并已在 2022 年欧洲计算机视觉会议 (ECCV 2022) 上发表。
项目背景
近年来,图像复原领域取得了显著进展,但主流方法复杂且计算成本较高,使得分析和比较不同模型变得困难。NAFNet 项目提出了一个简单的基准,它不仅超过了当前最新的方法,而且计算效率高。该框架的核心思想在于去掉不必要的非线性激活函数,如 Sigmoid、ReLU、GELU、Softmax 等,从而简化计算。
项目亮点
NAFNet 的最大特点是其高效性,通过去除非线性激活函数来简化结构,表现甚至优于现有最优方法。在多个具有挑战性的基准测试中,NAFNet 的表现如下:
- 图像去模糊:在 GoPro 数据集上获得了 33.69 dB PSNR,超过了此前最佳方法 0.38 dB,但计算成本仅为其 8.4%。
- 图像去噪:在 SIDD 数据集上取得了 40.30 dB PSNR,比之前的最佳方法高出 0.28 dB,而计算成本则减少了一半以上。
安装指南
NAFNet 基于 Python 和 PyTorch 构建,推荐的环境配置包括 Python 3.9.5、PyTorch 1.11.0 和 CUDA 11.3。安装步骤如下:
git clone https://github.com/megvii-research/NAFNet
cd NAFNet
pip install -r requirements.txt
python setup.py develop --no_cuda_ext
快速入门
项目提供了一系列的在线演示,可以立即体验 NAFNet 在图像复原方面的卓越表现:
- 图像去噪在线演示
- 图像去模糊在线演示
- 立体图像超分辨率在线演示
用户可以通过指定输入路径和输出路径来在本地进行图像复原测试,并可下载预训练模型以获得更好的效果。
项目成果及预训练模型
NAFNet 已在多个数据集上测试并取得优异成绩,提供了多种预训练模型供使用。以下列出部分模型的测试结果:
- NAFNet-GoPro-width64:PSNR 为 33.7103,SSIM 为 0.9668。
- NAFNet-SIDD-width64:PSNR 为 40.3045,SSIM 为 0.9614。
图像复原任务
NAFNet 适用于以下多种图像复原任务:
- 图像去模糊
- 图像去噪
- 带有 JPEG 伪影的图像去模糊
- 立体图像超分辨率
联系方式
如果您有任何问题或建议,可以通过以下邮箱联系陈良玉 (chenliangyu@megvii.com) 或初晓婕 (chuxiaojie@megvii.com)。
NAFNet 项目以其简洁和高效的设计为图像复原领域带来了新的思路,是从业者和研究人员不可错过的工具。