night_enhancement (ECCV'2022)
简介
这是以下论文的实现。
Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression
European Conference on Computer Vision (ECCV'2022
)
Yeying Jin、Wenhan Yang和Robby T. Tan
数据集
1. 夜间数据上的光效抑制
- 光效数据 [Dropbox] | [百度网盘 (code:self)]
光效数据来自Flickr和我们自行收集,包含多种颜色光源的各种场景。
CVPR2021
Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects [论文]
Aashish Sharma和Robby T. Tan
- LED数据 [Dropbox] | [百度网盘 (code:ledl)]
我们拍摄了亮度较低的图像作为参考图像。
- GTA5夜间雾霾 [Dropbox] | [百度网盘 (code:67ml)]
合成GTA5夜间雾霾数据。
ECCV2020
Nighttime Defogging Using High-Low Frequency Decomposition and Grayscale-Color Networks [论文]
Wending Yan、Robby T. Tan和Dengxin Dai
- 合成光效数据 [Dropbox] | [百度网盘 (code:synt)]
合成光效数据是以下论文的实现:
ICCV2017
A New Convolution Kernel for Atmospheric Point Spread Function Applied to Computer Vision [论文]
运行Matlab代码生成合成光效数据:
glow_rendering_code/repro_ICCV2007_Fig5.m
### 2. 低光照增强数据
-
LOL 数据集
"Deep Retinex Decomposition for Low-Light Enhancement", BMVC, 2018. [百度云 (code:sdd0)] | [Google Drive] -
LOL-Real 数据集
"Sparse Gradient Regularized Deep Retinex Network for Robust Low-Light Image Enhancement", TIP, 2021. [百度云 (code:l9xm)] | [Google Drive]
3. 低光照增强结果:
预训练模型
- 下载预训练的 LOL 模型 [Dropbox] | [BaiduPan (code:lol2)], 放在
./results/LOL/model/
中 - 将测试图像放在
./LOL/
中
低光照增强测试
🔥🔥 在线测试: https://replicate.com/cjwbw/night-enhancement
python main.py
低光照增强训练
没有分解、光效引导的低光照增强。
CUDA_VISIBLE_DEVICES=1 python main.py --dataset LOL --phase train --datasetpath /home1/yeying/data/LOL_Cap/
结果
- LOL-test 结果 (15 个测试图像) [Dropbox] | [BaiduPan (code:lol1)]
在 LOL-test 数据集上获得以下表 3 中的结果。
学习 | 方法 | PSNR | SSIM |
---|---|---|---|
无监督学习 | 我们的 | 21.521 | 0.7647 |
N/A | 输入 | 7.773 | 0.1259 |
- LOL-Real 结果 (100 个测试图像) [Dropbox] | [BaiduPan (code:lolc)]
在 LOL-Real 数据集上获得以下表 4 中的结果。
学习 | 方法 | PSNR | SSIM |
---|---|---|---|
无监督学习 | 我们的 | 25.51 | 0.8015 |
N/A | 输入 | 9.72 | 0.1752 |
在 LOL_V2_real (698 个训练图像) 上重新训练(从头开始训练),并在 LOL_V2_real 上进行测试 [Dropbox] | [BaiduPan (code:lol2)].
PSNR: 20.85 (vs EnlightenGAN 的 18.23), SSIM: 0.7243 (vs EnlightenGAN 的 0.61)。
4. 光效抑制结果:
预训练模型
- 下载预训练的去除光效模型 [Dropbox] | [BaiduPan (code:dele)], 放在
./results/delighteffects/model/
中 - 将测试图像放在
./light-effects/
中
消除光影效果测试
python main_delighteffects.py
分解1
输入位于./light-effects/
,输出位于./light-effects-output/
。
输入
和输出
分别是翻译网络的trainA
和trainB
。
demo_all.ipynb
python demo.py
分解2
输入位于./light-effects/
,输出位于./light-effects-output/DSC01065/
。
输入
和输出
分别是翻译网络的trainA
和trainB
。
python demo_separation.py --img_name DSC01065.JPG
分解3
demo_decomposition.m
输入
和初始背景结果
分别是翻译网络的trainA
和trainB
。
初始背景结果 [Dropbox] | 光影效果结果 [Dropbox] | 阴影结果 [Dropbox] |
---|---|---|
[BaiduPan (code:jjjj)] | [BaiduPan (code:lele)] | [BaiduPan (code:llll)] |
消除光影效果训练
CUDA_VISIBLE_DEVICES=1 python main.py --dataset delighteffects --phase train --datasetpath /home1/yeying/data/light-effects/
特征结果:
- 运行MATLAB代码以自适应地融合三个色彩通道,并输出
I_gray
。
checkGrayMerge.m
-
下载微调后的VGG模型[Dropbox] | [BaiduPan (code:dark)](在ExDark数据集上微调),放在
./VGG_code/ckpts/vgg16_featureextractFalse_ExDark/nets/model_best.tar
-
获取结构特征。
python test_VGGfeatures.py
比较总结:
许可证
此存储库中的代码和模型在学术和其他非商业用途下采用MIT许可证。
对于代码和模型的商业用途,可以获得单独的商业许可。请联系:
- Yeying Jin (jinyeying@u.nus.edu)
- Robby T. Tan (tanrobby@gmail.com)
- Jonathan Tan (jonathan_tano@nus.edu.sg)
致谢
分解代码的实现基于DoubleDIP、Layer Seperation和LIME。
翻译代码的实现基于U-GAT-IT,我们在此表示感谢。
在networks.py
中使用的一个技巧是将out = self.UpBlock2(x)
改为out = (self.UpBlock2(x)+input).tanh()来学习残差。
引用
如果这项工作对您的研究有用,请引用我们的论文。
@inproceedings{jin2022unsupervised,
title={Unsupervised night image enhancement: When layer decomposition meets light-effects suppression},
author={Jin, Yeying and Yang, Wenhan and Tan, Robby T},
booktitle={European Conference on Computer Vision},
pages={404--421},
year={2022},
organization={Springer}
}
@inproceedings{jin2023enhancing, title={利用引导APSF和梯度自适应卷积提高夜间雾霾图像的可见度}, author={Jin, Yeying and Lin, Beibei and Yan, Wending and Yuan, Yuan and Ye, Wei and Tan, Robby T}, booktitle={Proceedings of the 31st ACM International Conference on Multimedia}, pages={2446--2457}, year={2023} }
如果光效数据对您的研究有用,请引用该论文。
```BibTeX
@inproceedings{sharma2021nighttime,
title={通过提高动态范围和抑制光效来增强夜间能见度},
author={Sharma, Aashish and Tan, Robby T},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
pages={11977--11986},
year={2021}
}