LLFormer：一种基于Transformer的超高清低光照图像增强方法

Ray

引言

随着光学传感器质量的不断提高,处理大规模图像的需求日益迫切。特别是设备捕获超高清(UHD)图像和视频的能力,对图像处理流程提出了新的挑战。在这一背景下,低光照图像增强(LLIE)技术的重要性愈发凸显。本文介绍的LLFormer,作为一种基于Transformer的低光照增强方法,为解决这一问题提供了创新性的解决方案。

LLFormer概述

LLFormer是由王涛等人提出的一种新型Transformer based低光照图像增强方法。该方法的核心设计包括轴向变换器模块和跨层注意力融合模块。前者通过在高度和宽度轴上顺序执行自注意力,显著降低了计算复杂度;后者则学习不同层特征的注意力权重,实现了高效的特征融合。

LLFormer网络结构

创新点与优势

轴向多头自注意力机制: 通过在高度和宽度轴上分别执行自注意力,LLFormer成功将计算复杂度降低到线性水平,使其能够高效处理超高清图像。
双门控前馈网络: 采用门控机制,更好地关注有用特征,提高了模型的表达能力。
跨层注意力融合: 通过学习不同层特征的注意力权重,实现了更有效的特征融合,提升了最终增强效果。
适用于超高清图像: LLFormer在4K和8K分辨率的图像上都表现出色,填补了现有方法在超高清LLIE领域的空白。

UHDLOL基准数据集

为了评估LLFormer和其他LLIE方法在超高清图像上的性能,研究团队创建了一个大规模的UHD-LLIE数据集——UHDLOL。该数据集包含两个子集:

UHD-LOL4K: 包含8,099对4K低光/正常光图像对,其中5,999对用于训练,2,100对用于测试。
UHD-LOL8K: 包含2,966对8K低光/正常光图像对,其中2,029对用于训练,937对用于测试。

UHDLOL数据集示例

这个数据集的创建为研究人员提供了一个宝贵的资源,用于开发和评估针对超高清低光照图像的增强算法。

性能评估

LLFormer在UHDLOL以及其他公共数据集上的实验结果显示,它在各项指标上都优于现有的最先进方法。

UHD-LOL数据集上的结果

UHD-LOL结果

从表格中可以看出,LLFormer在PSNR、SSIM和LPIPS等指标上都取得了最佳成绩,展现了其在处理超高清低光照图像时的卓越能力。

LOL和MIT-Adobe FiveK数据集上的结果

LOL和MIT-Adobe FiveK结果

在这两个广泛使用的数据集上,LLFormer同样表现出色,进一步证明了其方法的有效性和泛化能力。

实际应用

LLFormer不仅在图像质量评估指标上表现优异,还在实际应用中展现了巨大潜力。研究表明,将LLFormer作为预处理步骤,能显著提高下游任务(如低光照条件下的人脸检测)的性能。这一发现为LLFormer在实际场景中的应用打开了广阔前景。

使用指南

环境配置

要开始使用LLFormer,首先需要配置适当的环境:

conda create -n LLFormer python=3.7
conda activate LLFormer
conda install pytorch=1.8 torchvision=0.3 cudatoolkit=10.1 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

数据集准备

研究者可以通过以下链接下载UHDLOL数据集:

UHD-LOL4K: OneDrive | Baidu drive
UHD-LOL8K: OneDrive | Baidu drive

模型训练

下载UHD-LOL训练和测试数据。
从UHD-LOL数据集的全分辨率训练图像生成图像块:

python scripts/extract_subimages_UHD.py

运行训练脚本:

python train.py -yml_path your_config_path

注意根据自己的训练环境修改配置文件。

模型测试

对于LOL和MIT-Adobe FiveK数据集:

python test.py --input_dir your_data_path --result_dir your_save_path --weights weight_path

对于UHD-LOL数据集:

python test_UHD.py --input_dir your_data_path --result_dir your_save_path --weights weight_path

由于GPU内存限制,建议对UHD图像采用基于图像块的测试模式。

结论与展望

LLFormer作为一种创新的基于Transformer的低光照图像增强方法,在处理超高清图像时展现出了卓越的性能。通过引入轴向多头自注意力和跨层注意力融合等创新机制,LLFormer不仅在各项评估指标上优于现有方法,还为实际应用提供了新的可能性。

未来的研究方向可能包括:

进一步优化LLFormer在更大分辨率图像上的性能
探索LLFormer在视频增强等相关任务中的应用
结合其他先进技术,如生成对抗网络(GAN),进一步提升增强效果

LLFormer的成功不仅推动了低光照图像增强技术的发展,也为计算机视觉领域的其他任务提供了宝贵的思路。随着超高清成像技术的普及,LLFormer这类能高效处理大规模图像的方法将在未来发挥越来越重要的作用。

参考资料

Wang, T., Zhang, K., Shen, T., Luo, W., Stenger, B., & Lu, T. (2023). Ultra-high-definition low-light image enhancement: A benchmark and transformer-based method. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 37, No. 3, pp. 2654-2662).
Zhang, K., Li, D., Luo, W., Ren, W., Stenger, B., Liu, W., ... & Yang, M. H. (2021). Benchmarking ultra-high-definition image super-resolution. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 14769-14778).
LLFormer GitHub仓库: https://github.com/TaoWangzj/LLFormer

通过以上详细介绍,我们全面了解了LLFormer这一创新的超高清低光照图像增强方法。从其理论基础到实际应用,LLFormer展现了强大的性能和广阔的应用前景,为超高清图像处理领域带来了新的突破。