访问官网
Github
论文:book: CoDA：开放词汇3D目标检测的协作式新奇框发现和跨模态对齐 (NeurIPS2023)
🔥请为CoDA点星⭐并分享。谢谢🔥
:triangular_flag_on_post: 更新
☑ 我们的扩展工作CoDAv2已发布，请在arXiv上查看！
☑ 关于开放词汇感知的最新论文和代码已在这里收集。
☑ 所有代码、数据和预训练模型已发布！
☑ 训练和测试代码已发布。
☑ 预训练模型已发布。
☑ OV设置的SUN-RGBD数据集已发布。
☑ OV设置的ScanNet数据集已发布。
☑ 论文的LaTeX代码可在https://scienhub.com/Yang/CoDA获取。
框架
样本
安装
我们的代码基于PyTorch 1.8.1、torchvision==0.9.1、CUDA 10.1和Python 3.7。它可能适用于其他版本。
请同时安装以下Python依赖：
matplotlib
opencv-python
plyfile
'trimesh>=2.35.39,<2.35.40'
'networkx>=2.2,<2.3'
scipy
请通过运行以下命令安装pointnet2层：
cd third_party/pointnet2 && python setup.py install
请安装gIOU的Cython实现，以加快训练速度。
conda install cython
cd utils && python cython_compile.py build_ext --inplace
数据集准备
为实现OV设置，我们重新组织了原始的ScanNet和SUN RGB-D，并采用了更多类别的注释。请直接下载我们在这里提供的OV设置数据集：OV SUN RGB-D和OV ScanNet。
然后对下载的*.tar文件运行：
bash data_preparation.sh
评估
下载预训练模型在这里。 然后运行：
bash test_release_models.sh
训练
bash scripts/coda_sunrgbd_stage1.sh
bash scripts/coda_sunrgbd_stage2.sh
运行样本
bash run_samples.sh
:scroll: BibTeX
如果CoDA对您有帮助，请引用：
@inproceedings{cao2023coda,
title={CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection},
author={Cao, Yang and Zeng, Yihan and Xu, Hang and Xu, Dan},
booktitle={NeurIPS},
year={2023}
}
@article{cao2024collaborative,
title={Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection},
author={Yang Cao and Yihan Zeng and Hang Xu and Dan Xu},
journal={arXiv preprint arXiv:2406.00830},
year={2024}
}
:e-mail: 联系
如果您有任何问题或合作需求（研究目的或商业目的），请发邮件至yangcao.cs@gmail.com。
