ICCV 2023低级视觉任务最新进展综述

国际计算机视觉大会(ICCV)作为计算机视觉领域的顶级会议,每两年举办一次,汇聚了来自全球的顶尖学者和工业界专家。ICCV 2023于10月2日至6日在法国巴黎举行,会议涵盖了计算机视觉的各个方面,其中低级视觉任务是一个重要的研究方向。本文将对ICCV 2023中低级视觉任务的最新进展进行全面总结,为读者提供该领域的最新研究动态。

图像复原

图像复原是低级视觉中的一个重要任务,旨在从退化的图像中恢复原始高质量图像。在ICCV 2023中,该方向涌现了多项创新工作:

1. SYENet提出了一种简单而有效的网络结构,可以同时处理多个低级视觉任务,并在移动设备上实现实时性能。该工作为轻量级多任务模型的设计提供了新的思路。

2. DiffIR将扩散模型引入图像复原任务,通过迭代去噪过程实现高质量的图像恢复。该方法展示了扩散模型在低级视觉任务中的潜力。

3. PIRNet提出了一种基于小波变换的隐私保护图像复原网络,在保护图像隐私的同时实现高质量复原。

4. Focal Network引入了一种新的注意力机制,可以更好地捕捉图像的局部和全局信息,从而提升复原效果。

5. 多项工作针对特定场景如水下图像、浊气图像、壁画等进行了专门的复原算法设计,体现了图像复原向特定应用场景深化的趋势。

超分辨率

超分辨率是将低分辨率图像转换为高分辨率图像的技术,在ICCV 2023中该方向也有多项突破性工作:

1. SRFormer提出了一种基于重排自注意力的Transformer结构,在单图像超分辨率任务上取得了优异性能。

2. DLGSANet设计了一种轻量级的动态局部和全局自注意力网络,在保证效果的同时大幅降低了计算量。

3. DAT提出了一种双聚合Transformer结构,可以更好地融合多尺度特征信息。

4. 多项工作针对盲超分辨率、参考图引导超分辨率等具体场景进行了算法改进,进一步提升了超分辨率技术的实用性。

5. 在医学图像、光场图像等特定领域的超分辨率也有多项创新工作,体现了超分辨率技术向更广泛应用场景扩展的趋势。

去噪

图像去噪旨在从含噪图像中恢复干净的图像,是一个经典而重要的低级视觉任务。ICCV 2023中该方向的主要进展包括:

1. 多项工作探索了自监督和无监督去噪方法,如SDAP提出了随机子样本生成策略,CBSN设计了条件盲点网络等,减少了对配对数据的依赖。

2. Noise2Info提出了一种新的自监督学习范式,通过从噪声图像中提取噪声信息来指导去噪过程。

3. LED提出了一种无需校准的RAW图像去噪流程,通过两对图像实现高质量去噪。

4. ExposureDiffusion将扩散模型引入低光照增强任务,通过学习曝光调整实现图像增强和去噪。

5. 针对高光谱图像去噪等特定任务也有多项创新工作,拓展了去噪技术的应用场景。

去模糊

图像去模糊旨在从模糊图像中恢复清晰图像,在ICCV 2023中该方向的主要进展包括:

1. 多项工作探索了多尺度结构和频域信息在去模糊中的应用,如MSG-Diffusion利用多尺度结构引导扩散模型,MRLPF设计了多尺度残差低通滤波网络等。

2. 一些工作针对特定的模糊类型如散焦模糊、行依赖模糊等进行了算法设计,提高了去模糊的针对性和有效性。

3. 在基于事件相机的去模糊方面也有多项创新工作,如GEM提出了一种可泛化的事件引导去模糊方法。

4. 在视频去模糊方面,有工作探索了时间频谱在深度视频去模糊中的应用,为视频去模糊提供了新的思路。

去雨

图像去雨旨在从含雨图像中去除雨线和雨滴的影响,恢复清晰的图像。ICCV 2023中该方向的主要进展包括:

1. LHP-Rain提出了一个大规模的真实雨天图像数据集,为真实场景下的去雨研究提供了重要资源。

2. RLP引入了雨滴位置先验,提升了夜间去雨的效果。

3. UDR-S2Former设计了一种基于稀疏采样的Transformer结构,可以同时去除雨滴和雨线。

4. 一些工作探索了基于事件相机的无监督视频去雨方法,为去雨任务提供了新的思路。

其他低级视觉任务

除上述主要任务外,ICCV 2023中还涉及了去雾、去马赛克、HDR成像、帧插值等多个低级视觉任务方向,均有不同程度的创新和突破。这些工作共同推动了低级视觉技术的全面进步。

总结与展望

ICCV 2023中低级视觉任务的研究呈现出以下几个主要趋势:

1. 自监督和无监督学习方法得到广泛探索,减少了对标注数据的依赖。

2. 扩散模型等生成模型在低级视觉任务中的应用不断深入。

3. Transformer结构在各类低级视觉任务中的应用持续深化。

4. 针对特定场景和应用的算法设计不断增多,体现了低级视觉技术向实际应用深化的趋势。

5. 轻量化和高效化仍是一个重要研究方向,以适应移动端等资源受限场景。

未来,低级视觉任务的研究可能会在以下几个方面继续深入:

1. 进一步探索大规模预训练模型在低级视觉任务中的应用。

2. 加强低级视觉任务与高级视觉任务的结合,发展端到端的视觉系统。

3. 深化对真实场景数据的处理能力,提高模型的实用性和鲁棒性。

4. 探索更高效的网络结构和学习方法,以适应更广泛的应用场景。

5. 加强低级视觉任务的可解释性研究,提高模型的可信度。

总的来说,ICCV 2023展示了低级视觉任务研究的蓬勃发展态势,相信在学术界和工业界的共同努力下,低级视觉技术将在不久的将来迎来更大的突破,为计算机视觉的整体发展做出重要贡献。