卓越的低光图像增强

这是一个低光图像增强的资源列表，包括数据集、方法/代码/论文、评估指标等。

期待您的分享！您可以在issue中提出您的想法和建议，或者直接提交pull request。

介绍

低光成像和低光图像增强在我们的日常生活和各种科学研究领域中有着广泛的应用，如夜间监控、自动驾驶、荧光显微镜、高速成像等。然而，考虑到低光子计数、低信噪比、复杂的噪声模型等巨大挑战，处理这些任务仍有很长的路要走。在此，我们收集了一份与低光图像增强相关的资源列表，包括数据集、方法/代码/论文、评估指标等。我们希望这能为新方法和解决方案的开发提供一些帮助。

亮点

:high_brightness: 新闻！

已更新ICCV2023的论文！

数据集

数据集	简介	网站
SID	学习在黑暗中看见；包含5094张原始短曝光图像，每张都有一个对应的长曝光参考图像（照明水平：户外场景0.2lux - 5lux；室内场景：0.03lux - 0.3lux）	链接
ExDARK	从极低光环境到黄昏（即10种不同条件）收集的7363张低光图像，包含12个物体类别（类似于PASCAL VOC），在图像类别级别和局部物体边界框上都进行了标注。	github
LOL	深度Retinex分解用于低光增强	链接
SICE	一个大规模的多曝光图像数据集，包含精心挑选的589个高分辨率多曝光序列，共4413张图像	github
MIT-Adobe FiveK	学习摄影全局色调调整；由5000张照片组成的数据集，包含原始RAW图像和5位训练有素的摄影师进行调整的版本	链接
DID	具有多重曝光和摄像机的高质量低光视频数据集	链接
DPED	在移动设备上使用深度卷积网络拍摄的DSLR质量照片	链接
VIP-LowLight	在极低光条件下拍摄的八张自然图像	链接
ReNOIR	RENOIR - 真实低光图像噪声降低数据集	链接
LLIV-Phone	图像和视频由不同手机摄像头在各种光照条件和场景下拍摄	链接
TM-DIED	222张JPEG照片，构成一些最具挑战性的图像增强和色调映射算法案例	链接
DRV	202组配对的原始低光图像数据集	链接
LIME	少量未配对图像用于测试。	链接
VV - Phos	捕捉在不同光照条件下的15个场景的彩色图像数据库	链接
500px数据集	曝光：一个白盒照片后期处理框架	-
扩展的耶鲁人脸数据库B	扩展的耶鲁人脸数据库B包含28个人的16128张图像，在9个姿势和64种光照条件下。	链接
夜间图像数据集	一个包含能见度差的源图像及其通过不同图像增强算法处理后的图像的数据集	链接
VE-LOL	一个大规模低光图像数据集，服务于低/高层视觉任务，包含多样化的场景和内容，以及在真实场景中复杂的退化情况，被称为低光条件下的视觉增强（VE-LOL）。	链接
SDSD	在黑暗中看到动态场景：具有机电对准的高质量视频数据集	github
MID	在黑暗中匹配：低光场景图像对匹配数据集	链接
DeepHDRVideo	HDR视频重建：一个粗到细的网络和一个真实世界的基准数据集	链接
LLVIP	LLVIP：低光视觉用的可见-红外配对数据集	链接
RELLISUR	RELLISUR：真实低光图像超分辨率数据集	链接
LSRW	R2RNet：基于真实低光到真实正常的网络进行低光图像增强；使用Nikon摄像机拍摄的3170组配对图像和使用华为手机拍摄的2480组配对图像。	github
MCR	单色原始配对数据集；一组由相同曝光设置捕捉的彩色原始图像和单色原始图像配对。每张图像的分辨率为1280x1024。共498个不同场景，每个场景都有1个对应的RGB和单色地面真值及8个不同曝光的彩色原始输入。	谷歌驱动百度网盘
原始图像低光物体数据集	-	链接
LRAICE	基于学习排序的方法用于图像颜色增强	-
LOM数据集	一个在低光条件下用于NeRF的配对低光&过曝光&正常光多视角数据集	谷歌驱动百度网盘

评审和基准

年份	出版	论文	链接	备注
2021	IJCV	低光图像增强和超越的基准	pdf
2021	IEEE PAMI	使用深度学习进行低光图像和视频增强：一项综述	pdf
2022	ArXiv	低光图像和视频增强：一项全面综述和超越	pdf 代码
2023	ArXiv	DarkVision：用于低光图像/视频感知的基准	pdf	DarkVision
2023	Signal Process.	一项基于实验的全面综述，评估低光图像增强方法和低光图像质量	pdf

方法

基于学习的方法

            | 年份 | 刊物 | 论文题目 | 链接 | 备注 |

| ---- | ----------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | -------------------- | | 2017 | ArXiv | MSR-net:Low-light Image Enhancement Using Deep Convolutional Network | pdf | MSR-net | | 2017 | ECCV | Deep Burst Denoising | pdf | | | 2017 | VCIP | LLCNN: A convolutional neural network for low-light image enhancement | pdf dataset | LLCNN | | 2017 | Pattern Recognit. | LLNet: A deep autoencoder approach to natural low-light image enhancement | pdf | LLNet | | 2017 | ACM Trans. Graph. | Deep bilateral learning for real-time image enhancement | pdf web code | HDRNet | | 2017 | ICCV | DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks | pdf | | | 2018 | BMVC | Deep Retinex Decomposition for Low-Light Enhancement | pdf web code | Retinex-Net | | 2018 | BMVC | MBLLEN: Low-light Image/Video Enhancement Using CNNs | pdf web code | MBLLEN | | 2018 | Pattern Recognit. Lett. | LightenNet: A Convolutional Neural Network for weakly illuminated image enhancement | pdf | LightenNet | | 2018 | CVPR | Learning to See in the Dark | pdf web code dataset | | | 2018 | IEEE TIP | Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images | pdf code | SICE | | 2018 | ACM TOG | Exposure: A White-Box Photo Post-Processing Framework | pdf code | | | 2018 | FG conference | GLADNet: Low-Light Enhancement Network with Global Awareness | pdf web code dataset | GLADNet | | 2019 | IEEE TIP | DeepISP: Towards Learning an End-to-End Image Processing Pipeline | pdf | DeepISP | | 2019 | IEEE TIP | Low-Light Image Enhancement via a Deep Hybrid Network | pdf | | | 2019 | IEEE TIP | EnlightenGAN: Deep Light Enhancement without Paired Supervision | code pdf | EnlightenGAN | | 2019 | ACM MM | Kindling the Darkness: A Practical Low-light Image Enhancer | pdf code code+ | KinD | | 2019 | IEEE Access | A Pipeline Neural Network for Low-Light Image Enhancement | pdf | | | 2019 | Neurocomputing | Learning Digital Camera Pipeline for Extreme Low-Light Imaging | pdf | | | 2019 | CVPR | Underexposed Photo Enhancement Using Deep Illumination Estimation | pdf code | DeepUPE | | 2019 | ICCV | Enhancing Low Light Videos by Exploring High Sensitivity Camera Noise | pdf | | | 2019 | ICIP | Enhancement of Weakly Illuminated Images by Deep Fusion Networks | pdf | | | 2019 | ICCP | A Bit Too Much? High Speed Imaging from Sparse Photon Counts | pdf | | | 2019 | ICIP | Llrnet: A Multiscale Subband Learning Approach for Low Light Image Restoration | pdf | Llrnet | | 2019 | ICIP | Low-Lightgan: Low-Light Enhancement Via Advanced Generative Adversarial Network With Task-Driven Training | pdf | Low-Lightgan | | 2019 | ICME | RDGAN: Retinex Decomposition Based Adversarial Learning for Low-Light Enhancement | code pdf | RDGAN | | 2019 | ICMEW | Low-Light Image Enhancement with Attention and Multi-level Feature Fusion | pdf | | | 2019 | PRCV | An Effective Network with ConvLSTM for Low-Light Image Enhancement | pdf | | | 2019 | VISIGRAPP | End-to-End Denoising of Dark Burst Images Using Recurrent Fully Convolutional Networks | pdf | | | 2020 | CVPR | Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement | pdf web code | Zero-DCE | | 2020 | CVPR | Learning to Restore Low-Light Images via Decomposition-and-Enhancement | pdf | | | 2020 | CVPR | From Fidelity to Perceptual Quality: A Semi-Supervised Approach for Low-Light Image Enhancement | pdf web slides | DRBN | | 2020 | CVPR | DeepLPF: Deep Local Parametric Filters for Image Enhancement | pdf code | DeepLPF | | 2020 | IEEE PAMI | Learning Image-adaptive 3D Lookup Tables for High Performance Photo Enhancement in Real-time | pdf code | Image-Adaptive-3DLUT | | 2020 | IET Image Proc. | Learning an Adaptive Model for Extreme Low-Light Raw Image Processing | pdf code | | | 2020 | ArXiv | Visual Perception Model for Rapid and Adaptive Low-light Image Enhancement | pdf code | | | 2020 | ArXiv | Self-supervised Image Enhancement Network: Training with Low Light Images Only | pdf code | | | 2020 | ICPR | Unsupervised Real-world Low-light Image Enhancement with Decoupled Networks | pdf | | | 2021 | IJCV | Attention Guided Low-Light Image Enhancement with a Large Scale Low-Light Simulation Dataset | pdf code | | | 2021 | CVPR | Retinex-Inspired Unrolling with Cooperative Prior Architecture Search for Low-Light Image Enhancement | pdf web code | RUAS | | 2021 | CVPR | Deep Denoising of Flash and No-Flash Pairs for Photography in Low-Light Environments | pdf code | | | 2021 | CVPR | Extreme Low-Light Environment-Driven Image Denoising over Permanently Shadowed Lunar Regions with a Physical Noise Model | pdf | HORUS | | 2021 | CVPR | Learning Temporal Consistency for Low Light Video Enhancement from Single Images | pdf code | | | 2021 | CVPR | Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects | pdf | | | 2021 | ICCV | Seeing Dynamic Scene in the Dark: A High-Quality Video Dataset with Mechatronic Alignment | pdf code | SDSD | | 2021 | ICCV | HDR Video Reconstruction: A Coarse-to-Fine Network and a Real-World Benchmark Dataset | pdf web code | DeepHDRVideo | | 2021 | ICCV | Matching in the Dark: A Dataset for Matching Image Pairs of Low-Light Scenes | pdf web code | MID |

基于直方图均衡化的方法

年份	出版社	论文	链接	备注
1990	IEEE TCE	所有对比度限制自适应直方图均衡化：速度和效果	pdf	CLAHE
2007	IEEE TCE	保持亮度的动态直方图均衡化用于图像对比度增强	pdf code	BPDHE
2007	IEEE TCE	一种用于图像对比度增强的动态直方图均衡化	pdf	DHE
2007	IEEE TCE	基于加权阈值直方图均衡化的快速图像/视频对比度增强	pdf	WTHE
2011	IEEE TIP	上下文和变分对比度增强	pdf	CVC
2013	IEEE TIP	基于2D直方图分层差表示的对比度增强	pdf web	LDR
2013	ICASSP	使用参数逼近的高效对比度增强	pdf	POHE

另请参阅: link

基于Retinex的方法

年份	出版社	论文	链接	备注
1997	IEEE TIP	中心/环绕Retinex的属性和性能	pdf	SSR
1997	IEEE TIP	Bridging the gap between color images and the human observation of scenes	pdf code1 code2	MSRCR
2013	SITIS	用于图像对比度增强的自适应多尺度Retinex	code pdf	AMSR
2013	IEEE TIP	非均匀照明图像的自然保留增强算法	pdf web code	NPE
2015	IEEE TIP	通过同时估计照明和反射来增强图像的概率方法	pdf code	SRIE
2016	CVPR	一个用于同时估计反射和照明的加权变分模型	pdf code	SRIE
2016	Signal Processing	一种用于弱光图像增强的基于融合的方法	pdf code	MF
2016	ACM MM	LIME: 低照度图像增强方法	pdf web code	LIME
2017	IEEE TIP	LIME: 通过照明图估计实现的低光图像增强	pdf code1 code2 code3	LIME
2017	ICCV	Retinex的联合内在-外在先验模型	pdf web code	JieP
2018	IEEE TIP	通过鲁棒Retinex模型进行结构揭示的低光图像增强	pdf code1 code2
2018	Symmetry	一种智能系统，用于在复杂光环境中通过保持颜色一致性和细节操作进行低亮度图像增强	pdf
2019	Symmetry	用于低光图像增强的分数阶融合模型	pdf
2019	ICIP	使用亮通道先验的单低光图像增强的混合L2-LP变分模型	pdf
2019	IET Image Proc.	基于非均匀照明先验模型的低光图像增强	pdf	NIPM
2019	Comput. Graphics Forum	具有双重照明估计的鲁棒曝光校正	pdf code
2020	ic-ETITE	基于照明估计算法的图像增强技术的比较分析	pdf
2020	IEEE TIP	LR3M: 通过低秩正则化Retinex模型进行鲁棒的低光增强	pdf	LR3M
2023	Vis Comput	自然保持低光图像增强的照明估计	pdf	NPLIE
2023	ICCV	Diff-Retinex：使用生成性扩散模型重新思考低光图像增强	pdf	Diff-Retinex
2023	ICCV	Retinexformer：一种用于低光图像增强的单阶段Retinex变形器	pdf code	Retinexformer

其他方法

年份	出版社	论文	链接	备注
2008	IET Image Proc.	快速中心-环绕对比度修改	pdf
2011	ICME	用于增强低光视频的快速高效算法	pdf code
2017	ICCVW	使用相机响应模型的新低光图像增强算法	pdf code
2017	ArXiv	一种生物启发的多曝光融合框架用于低亮度图像增强	pdf code	BIMEF
2017	ICCAIP	使用曝光融合框架的新图像对比度增强算法	pdf web code1 code2
2019	IEEE TIP	通过光吸收散射模型进行低光图像增强	pdf	ALSM
2019	ICIP	基于最大和导向滤波的快速图像增强	pdf

年份	出版	论文	链接	备注	标签
2012	IST	通过局部对比度增强改善特征检测的鲁棒性	数据集
2015	ACM ToG	使用深度神经网络的自动照片调整	网页代码 pdf
2018	CVPR	扭曲与恢复：使用深度强化学习进行颜色增强	代码 pdf
2021	TMM	低光脸部检测的循环曝光生成	pdf 代码	REGDet	脸部检测
2021	CVPR	HLA-Face：用于低光脸部检测的联合高低适应	网页 pdf 代码	HLA-Face	脸部检测
2021	ICCV	在黑暗物体检测中的具有正交切线正则性的多任务AET	pdf 代码	MAET	物体检测
2021	ICCV	Photon-Net：使用单光子相机进行光子缺乏场景推断	pdf 代码视频	Photon-Net	单光子
2021	ICCVW	极低光条件下的单阶段脸部检测	pdf		脸部检测
2021	ICCVW	DeLiEve-Net：使用光条和局部事件对低光图像去模糊	pdf	DeLiEve-Net	事件相机
2022	ArXiv	一个高效的低光恢复变压器用于黑暗光场图像		LRT	光场
2022	ICCP	噪声模糊双重腐败下的稳健场景推断	pdf 代码网页	噪声模糊双重	物体检测
2023	ICCV	FeatEnHancer：在低光视觉下增强层次特征的物体检测及其他	pdf 代码网页	FeatEnHancer	物体检测和语义分割
2023	IEEE TIP	INFWIDE：用于低光条件下非盲图像去模糊的图像和特征空间维纳去卷积网络	pdf 代码	INFWIDE	去模糊
2024	AAAI	Aleth-NeRF：具有隐藏场假设的光照自适应NeRF	pdf 代码网页	Aleth-NeRF	NeRF

指标

指标	缩写	参考类型	链接
峰值信噪比	PSNR	参考	-
结构相似度指数测量	SSIM	参考	-
学习感知图像补丁相似度	LPIPS	参考	代码
亮度顺序误差	LOE	非参考	论文
自然图像质量评价	NIQE	非参考	论文
均方误差	MSE	参考	-
平均绝对误差	MAE	参考	-
智能手机摄影属性和质量	SPAQ	非参考	代码
神经图像评估	NIMA	非参考	pytorch tensorflow
多尺度图像质量变压器	MUSIQ	非参考	代码