#3D目标检测
FlatFormer: 高效点云Transformer的扁平化窗口注意力机制
bevfusion
BEVFusion是一个有效的多任务多传感器融合框架,通过在共享的鸟瞰视角表示空间中统一多模态特征,解决了传统点级融合方法的局限性。其优化的视角转换和显著降迟特性使其在各种3D感知任务中表现出色。该框架在提升3D物体检测和BEV图分割性能的同时,大幅降低计算成本,树立了新行业标杆。
EFG
EFG是一个高效、灵活且通用的深度学习框架,采用最小化设计。该框架支持2D和3D目标检测、全景分割等多种计算机视觉任务,并在Waymo和nuScenes等数据集上展现优异性能。EFG集成了多个最新研究成果,如TrajectoryFormer和ConQueR,为3D目标检测和跟踪领域提供创新解决方案。研究人员可利用EFG的项目模板探索各种研究主题。
mmdetection3d
MMDetection3D是OpenMMLab项目开发的开源3D目标检测框架,基于PyTorch构建。它支持多模态和单模态检测器,适用于室内外3D检测数据集,可与2D检测无缝集成。该框架提供300多种预训练模型、40多种算法实现,以及MMDetection全部功能模块。MMDetection3D不仅可用于研究,还可作为库支持各类3D检测应用开发。
flatformer
FlatFormer是一种新型点云变换器算法,采用扁平化窗口注意力机制提高处理效率。在Waymo开放数据集上,它实现了领先的精度,并比现有方法快4.6倍。FlatFormer首次在边缘GPU上达到实时性能,为自动驾驶等对延迟敏感的应用开辟新途径。该算法通过平衡空间邻近性和计算规律性,减少了结构化和填充开销。
OpenPCDet
OpenPCDet是一个开源LiDAR 3D目标检测框架,支持PointRCNN、PV-RCNN等多种算法。具有简洁设计,兼容多种数据集和模型,在KITTI和Waymo等数据集上提供基准性能。支持分布式训练和多头检测,是功能丰富的3D检测工具箱。
3D-deformable-attention
3D-deformable-attention项目提出了3D可变形注意力(DFA3D)操作符,用于2D到3D特征提升。该方法首先利用深度估计将2D特征扩展到3D空间,再通过DFA3D聚合3D特征。这种方法缓解了深度歧义问题,并支持逐层特征细化。在多个基准测试中,DFA3D平均提高1.41 mAP,高质量深度信息下最高提升15.1 mAP。研究结果显示DFA3D在自动驾驶3D目标检测等任务中具有较大潜力。
Far3D
这是一个创新的稀疏查询框架,专注于解决远距离3D目标检测问题。该项目通过2D目标先验生成自适应3D查询,并利用透视感知聚合模块处理多视角和多尺度特征。还开发了范围调制的3D去噪技术,有效解决了查询错误传播和收敛问题。在Argoverse 2和nuScenes数据集上,展现出优异的性能,推动了环视3D目标检测技术的发展。
PETR
PETR是一个多视角3D感知框架,通过位置嵌入变换将3D坐标信息编码到图像特征中。其升级版PETRv2引入时序建模,支持目标检测和BEV分割。该框架在nuScenes数据集上展现了出色性能,为3D感知研究提供了有力基线。此外,PETR还支持3D车道线检测,相关工作在CVPR 2023工作坊中获得第一名。