#深度估计
monodepth2
本项目提供了PyTorch实现的代码,用于训练和测试深度估计模型。代码采用自监督学习方法,支持单目和立体图像的深度预测。提供多种预训练模型和自定义数据集,兼容不同的图像分辨率。适用于研究和非商业用途,包含详细的设置指南、训练和评估说明。用户可通过此项目高效开发和优化深度估计模型。
acezero
该项目提出了一种基于增量学习的场景坐标重建方法,结合了RANSAC和DSAC*算法,实现了高精度的图像姿态估计。ACE0提供了丰富的实验数据和可视化工具,支持部分重建和自监督重定位等高级用例。项目代码基于PyTorch实现,并已在Ubuntu 20.04和多种GPU环境下测试。
UniDepth
UniDepth项目提出了通用的单目深度测量方法,支持多个数据集如NYUv2、KITTI和SUN-RGBD。通过训练模型,该方法可直接从RGB图像生成深度和内参预测,无需预先深度数据。其高精度、低延迟的推理能力在多个基准测试中表现优秀。支持多种输入形状和比例,适合机器人视觉和自动驾驶等应用。
Marigold
Marigold项目开发了一种基于扩散模型的单目深度估计方法。该方法利用Stable Diffusion中的视觉知识,通过合成数据微调,实现了对未见数据的零样本迁移。Marigold不仅提供了高精度的深度估计结果,还包含快速推理版本,为计算机视觉领域提供了新的研究方向。
Depth-Anything-V2
Depth-Anything-V2是单目深度估计领域的新进展。该模型在细节表现和鲁棒性上显著优于V1版本,并在推理速度、参数量和深度精度方面超越了基于SD的模型。项目提供四种预训练模型,适用于相对和度量深度估计,可处理图像和视频。此外,发布的DA-2K基准为深度估计研究设立了新标准。
Depth-Anything
Depth Anything是一款基于大规模数据训练的单目深度估计模型。它利用150万标注图像和6200万无标注图像进行训练,提供小型、中型和大型三种预训练模型。该模型不仅支持相对深度和度量深度估计,还可用于ControlNet深度控制、场景理解和视频深度可视化等任务。在多个基准数据集上,Depth Anything的性能超越了此前最佳的MiDaS模型,展现出优异的鲁棒性和准确性。
3D-deformable-attention
3D-deformable-attention项目提出了3D可变形注意力(DFA3D)操作符,用于2D到3D特征提升。该方法首先利用深度估计将2D特征扩展到3D空间,再通过DFA3D聚合3D特征。这种方法缓解了深度歧义问题,并支持逐层特征细化。在多个基准测试中,DFA3D平均提高1.41 mAP,高质量深度信息下最高提升15.1 mAP。研究结果显示DFA3D在自动驾驶3D目标检测等任务中具有较大潜力。
Depth-Anything-V2-Base-hf
Depth-Anything-V2-Base-hf是一个基于transformers库的单目深度估计模型。该模型通过大规模合成和真实图像训练,相比V1版本提供更细致的细节和更强的稳健性。它比基于SD的模型效率高10倍且更轻量化,在预训练基础上展现出色的微调性能。模型采用DPT架构和DINOv2骨干网络,适用于零样本深度估计等任务,在相对和绝对深度估计方面表现优异。
Depth-Anything-V2-Small
Depth-Anything-V2-Small是一个开源的单目深度估计模型,基于大规模合成和真实图像数据训练。相比前代产品,该模型提供更精细的深度细节和更强的鲁棒性。它比同类基于稳定扩散的模型运行速度快10倍,且更加轻量化。模型支持高效的图像深度推断,可用于各种计算机视觉应用场景。