Far3D

[AAAI2024] 扩展全景3D目标检测的视野

简介

本仓库是Far3D的官方实现。

直接扩展现有方法以覆盖长距离会带来诸如计算成本高昂和收敛不稳定等挑战。为解决这些限制，我们提出了一种新颖的稀疏查询框架，称为Far3D。通过利用高质量的2D目标先验，我们生成与3D全局查询互补的3D自适应查询。为了有效捕捉不同视角和尺度下长距离目标的判别特征，我们引入了一个透视感知聚合模块。此外，我们提出了一种范围调制的3D去噪方法，以解决查询错误传播问题并减轻长距离任务中的收敛问题。

新闻

[2023/08/01] 我们在Arxiv上发布了论文。
[2023/08/01] Far3D在长距离Argoverse2数据集上取得了相当的性能（31.6 mAP，23.9 CDS），同时在nuScenes仅相机任务上达到了最先进的性能（63.5 mAP，68.7 NDS）。

入门指南

我们的流程遵循StreamPETR，您可以按照入门指南一步步操作。

如果您之前使用过StreamPETR，无需额外的大规模安装即可轻松运行Far3D。

快速训练与评估

训练模型

tools/dist_train.sh projects/configs/far3d.py 8 --work-dir work_dirs/far3d/

评估

tools/dist_test.sh projects/configs/far3d.py work_dirs/far3d/iter_82548.pth 8 --eval bbox

Argoverse 2验证集上的结果

模型	骨干网络	输入尺寸	mAP	CDS	配置	下载
BEVStereo	VoV-99	(960, 640)	0.146	0.104	--	--
SOLOFusion	VoV-99	(960, 640)	0.149	0.106	--	--
PETR	VoV-99	(960, 640)	0.176	0.122	--	--
Sparse4Dv2	VoV-99	(960, 640)	0.189	0.134	--	--
StreamPETR	VoV-99	(960, 640)	0.203	0.146	--	--
Far3D	VoV-99	(960, 640)	0.244	0.181	配置	模型/日志

注意

此配置可用于重现Argoverse 2上的结果。
对于nuScenes版本，由于数据和评估过程不一致，我们没有将其纳入此仓库。可以将我们的模型部分转移到StreamPETR仓库以用于nuScenes数据集。

致谢

我们感谢以下优秀的工作和开源代码库：

3D检测。 StreamPETR、MMDetection3d、DETR3D、PETR、BEVFormer、SOLOFusion、Sparse4D。

引用

如果您发现Far3D在您的研究或应用中有用，请考虑给我们一个星标🌟并使用以下BibTeX条目引用它。

@article{jiang2023far3d,
  title={Far3D: Expanding the Horizon for Surround-view 3D Object Detection},
  author={Jiang, Xiaohui and Li, Shuailin and Liu, Yingfei and Wang, Shihao and Jia, Fan and Wang, Tiancai and Han, Lijin and Zhang, Xiangyu},
  journal={arXiv preprint arXiv:2308.09616},
  year={2023}
}