深度学习在运动去模糊中的应用:现状、基准和未来展望
:fire::fire: 在这篇综述中,我们系统地检阅了超过150篇论文:page_with_curl::page_with_curl::page_with_curl:,总结和分析了:star2:30多种盲运动去模糊方法。
:fire::fire::fire: 我们在四个数据集上对当前最先进的方法进行了广泛的定性和定量比较,突出了它们的局限性,并指出了未来的研究方向。
:fire::fire::fire::fire: 已包含CVPR 2024最新的去模糊论文~
图1. 盲运动去模糊深度学习方法概述。
目录:
- 与去模糊相关的综述和调查
- 基于CNN的盲运动去模糊模型
- 基于RNN的盲运动去模糊模型
- 基于GAN的盲运动去模糊模型
- 基于Transformer的盲运动去模糊模型
- 基于扩散的盲运动去模糊模型
- 运动去模糊数据集
- 评估
- 引用
0. 与去模糊相关的综述和调查:
:rocket::rocket::rocket:更新(2023-12-28):balloon:
序号 | 年份 | 发表 | 标题 | 链接 |
---|---|---|---|---|
01 | 2021 | CDS | 单图像去模糊调查 | 论文/项目 |
02 | 2021 | CVIU | 基于神经网络的单图像去模糊比较调查 | 论文/项目 |
03 | 2022 | IJCV | 深度图像去模糊:一项调查 | 论文/项目 |
04 | 2022 | arXiv | 盲图像去模糊:一个综述 | 论文/项目 |
05 | 2023 | CVMJ | 人脸图像去模糊调查 | 论文/项目 |
06 | 2023 | arXiv | 深度神经网络图像去模糊全面调查 | 论文/项目 |
1. 基于CNN的盲运动去模糊模型:
:rocket::rocket::rocket:更新(2024-05-14):balloon:
编号 | 年份 | 模型 | 发表 | 标题 | 链接 |
---|---|---|---|---|---|
01 | 2017 | DeepDeblur | CVPR | 用于动态场景去模糊的深度多尺度卷积神经网络 | 论文/项目 |
02 | 2019 | DMPHN | CVPR | 用于图像去模糊的深度堆叠层次多块网络 | 论文/项目 |
03 | 2019 | PSS-NSC | CVPR | 具有参数选择性共享和嵌套跳跃连接的动态场景去模糊 | 论文/项目 |
04 | 2020 | DGN | TIP | 基于深度引导模型的动态场景去模糊 | 论文/项目 |
05 | 2020 | MSCAN | TCSVT | 基于深度卷积神经网络的通道注意力单图动态场景盲去模糊 | 论文/项目 |
06 | 2021 | SDWNet | ICCVW | SDWNet:用于图像去模糊的直接膨胀小波变换网络 | 论文/项目 |
07 | 2021 | TIP | 图像去模糊的深度异常值处理 | 论文/[项目] | |
08 | 2021 | MIMOU-Net+ | ICCV | 重新思考单图像去模糊的粗到细方法 | 论文/项目 |
09 | 2021 | MPRNet | CVPR | 多阶段渐进式图像恢复 | 论文/项目 |
10 | 2022 | MSSNet | ECCVW | MSSNet:用于单图像去模糊的多尺度阶段网络 | 论文/项目 |
11 | 2022 | HINet | CVPRW | HINet:用于图像恢复的半实例归一化网络 | 论文/项目 |
12 | 2022 | BANet | TIP | BANet:用于动态场景去模糊的模糊感知注意力网络 | 论文/项目 |
13 | 2022 | IRNeXt | ICML | IRNeXt:重新思考图像恢复的卷积网络设计 | 论文/项目 |
14 | 2023 | ReLoBlur | AAAI | 真实世界深度局部运动去模糊 | 论文/项目 |
15 | 2023 | MRLPFNet | ICCV | 用于图像去模糊的多尺度残差低通滤波网络 | 论文/[项目] |
16 | 2023 | MSFS-FNet | TCSVT | 用于图像去模糊的多尺度频率分离网络 | 论文/项目 |
2. 基于RNN的盲运动去模糊模型:
:rocket::rocket::rocket:更新(2024-05-14):balloon:
序号 | 年份 | 模型 | 发表于 | 标题 | 链接 |
---|---|---|---|---|---|
01 | 2018 | SVRNN | CVPR | 使用空间变体循环神经网络的动态场景去模糊 | 论文/项目 |
02 | 2018 | SRN | CVPR | 用于深度图像去模糊的尺度递归网络 | 论文/项目 |
03 | 2022 | TCSVT | 基于光流的深度动态场景去模糊 | 论文/[项目] | |
04 | 2023 | MT-RNN | ECCV | 用于渐进非均匀单图像去模糊的多时间递归神经网络及其增量时间训练 | 论文/项目 |
3. 基于GAN的盲运动去模糊模型:
:rocket::rocket::rocket:更新(2024年5月14日):balloon:
序号 | 年份 | 模型 | 发表于 | 标题 | 链接 |
---|---|---|---|---|---|
01 | 2018 | DeblurGAN | CVPR | DeblurGAN:使用条件对抗网络的盲运动去模糊 | 论文/项目 |
02 | 2019 | DeblurGAN-V2 | ICCV | DeblurGAN-v2:(数量级)更快更好的去模糊 | 论文/项目 |
03 | 2020 | DBGAN | CVPR | 分布诱导双向GAN用于图表示学习 | 论文/项目 |
04 | 2021 | CycleGAN | ICCV | 使用循环一致对抗网络的非配对图像到图像转换 | 论文/项目 |
05 | 2021 | TPAMI | 基于物理的生成对抗模型用于图像恢复及其他应用 | 论文/[项目] | |
06 | 2022 | FCLGAN | ACM | 使用循环一致对抗网络的非配对图像到图像转换 | 论文/项目 |
07 | 2022 | Ghost-DeblurGAN | IROS | Ghost-DeblurGAN在基准标记检测中的应用 | 论文/项目 |
4. 基于Transformer的盲运动去模糊模型:
:rocket::rocket::rocket:更新(2024年5月14日):balloon:
序号 | 年份 | 模型 | 发表会议 | 标题 | 链接 |
---|---|---|---|---|---|
01 | 2021 | Uformer | CVPR | Uformer:用于图像恢复的通用U形transformer | 论文/项目 |
02 | 2022 | Restormer | CVPR | Restormer:用于高分辨率图像恢复的高效transformer | 论文/项目 |
03 | 2022 | Stripformer | ECCV | Stripformer:用于快速图像去模糊的条带transformer | 论文/项目 |
04 | 2022 | Stoformer | NeurIPS | 用于图像恢复的随机窗口transformer | 论文/项目 |
05 | 2023 | Sharpformer | TIP | SharpFormer:学习保留局部特征的全局表示用于图像去模糊 | 论文/项目 |
06 | 2023 | FFTformer | CVPR | 基于高效频域的transformer用于高质量图像去模糊 | 论文/项目 |
07 | 2023 | BiT | CVPR | 用于真实世界运动从模糊中恢复的模糊插值transformer | 论文/项目 |
08 | 2024 | CVPR | 用于盲运动去模糊的高效多尺度网络与可学习离散小波变换 | [论文]/[项目] | |
09 | 2024 | TNNLS | 通过探索transformer的深度属性进行图像去模糊 | [论文]/项目 |
5. 基于扩散的盲运动去模糊模型:
:rocket::rocket::rocket:更新(2024-05-14):balloon:
序号 | 年份 | 模型 | 发表会议 | 标题 | 链接 |
---|---|---|---|---|---|
01 | 2023 | ICCV | 用于图像去模糊的多尺度结构引导扩散 | 论文/[项目] | |
02 | 2024 | ID-Blau | CVPR | ID-Blau:基于隐式扩散的重模糊增强的图像去模糊 | 论文/[项目] |
03 | 2024 | CVPR | 基于傅里叶先验引导的扩散用于零样本联合低光增强和去模糊 | [论文]/[项目] |
6. 运动去模糊数据集:
:rocket::rocket::rocket:更新(2024-01-08):balloon:
序号 | 数据集 | 年份 | 发表 | 规模 | 类型 | 训练/验证/测试 | 下载 |
---|---|---|---|---|---|---|---|
01 | Köhler等人 | 2012 | ECCV | 4清晰,48模糊 | 合成 | - | 链接 |
02 | GoPro | 2017 | CVPR | 3214 | 合成 | 2103/0/1111 | 链接 |
03 | HIDE | 2019 | CVPR | 8422 | 合成 | 6397/0/2025 | 链接 |
04 | Blur-DVS | 2020 | CVPR | 13358 | 真实 | 8878/1120/3360 | [链接] |
05 | RealBlur | 2020 | ECCV | 4738 | 真实 | 3758/0/980 | 链接 |
06 | RsBlur | 2022 | ECCV | 13358 | 真实 | 8878/1120/3360 | 链接 |
07 | ReLoBlur | 2023 | AAAI | 2405 | 真实 | 2010/0/395 | 链接 |
7. 评估:
- 对GoPro结果在MATLAB中进行评估,修改'./out/...'为相应路径
evaluation_GoPro.m
- 对HIDE结果在MATLAB中进行评估,修改'./out/...'为相应路径
evaluation_HIDE.m
- 对RealBlur_J结果进行评估,修改'./out/...'为相应路径
python evaluate_RealBlur_J.py
- 对RealBlur_R结果进行评估,修改'./out/...'为相应路径
python evaluate_RealBlur_R.py
引用:
如果您发现我们的综述论文和评估代码有用,请引用以下论文:
@article{xiang2024application,
title={Application of Deep Learning in Blind Motion Deblurring: Current Status and Future Prospects},
author={Yawen Xiang and Heng Zhou and Chengyang Li and Fangwei Sun and Zhongbo Li and Yongqiang Xie},
year={2024},
journal={arXiv preprint arXiv:2401.05055},
}