ObjectSDF++：改进的物体组合式神经隐式表面

ICCV 2023

论文 | 项目页面

简要概述： 我们提出了一种考虑遮挡的不透明度渲染公式，以更好地利用实例掩码监督。结合物体区分正则化项，所提出的ObjectSDF++在场景和物体层面都产生了更精确的表面重建。

配置

安装

此代码已在Ubuntu 22.02环境下使用torch 2.0和CUDA 11.7在RTX 3090上进行测试。克隆仓库并创建名为objsdf的Anaconda环境

git clone https://github.com/QianyiWu/objectsdf_plus.git
cd objectsdf_plus

conda create -y -n objsdf python=3.9
conda activate object

pip install -r requirements.txt

运行代码时，哈希编码器将即时编译。

数据集

要下载预处理后的数据，请运行以下脚本。Replica和ScanNet的数据改编自MonoSDF和vMAP。

bash scripts/download_dataset.sh

训练

运行以下命令来训练ObjectSDF++：

cd ./code
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf CONFIG  --scan_id SCAN_ID

其中CONFIG是code/confs中的配置文件，SCAN_ID是要重建的场景ID。

我们提供了训练Replica数据集的示例命令如下：

# Replica 扫描1（room0）
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/replica_objsdfplus.conf --scan_id 1

# ScanNet 扫描1（scene_0050_00）
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node=1 --nnodes=1 --node_rank=0 training/exp_runner.py --conf confs/scannet_objsdfplus.conf --scan_id 1

中间结果和检查点将保存在exps文件夹中。

评估

Replica

评估单个场景（以扫描1 room0为例）

cd replica_eval
python evaluate_single_scene.py --input_mesh replica_scan1_mesh.ply --scan_id 1 --output_dir replica_scan1

我们还提供了评估所有Replica场景和物体的脚本：

cd replica_eval
python evaluate.py  # 场景级评估
python evaluate_3D_obj.py   # 物体级评估

请查看脚本了解更多详情。要获取物体真实值，您可以参考此处了解更多详情。

ScanNet

cd scannet_eval
python evaluate.py

请查看脚本了解更多详情。

致谢

本项目基于MonoSDF构建。单目深度和法线图像由Omnidata获得。物体重建的评估受vMAP启发。多分辨率哈希编码的CUDA实现主要基于torch-ngp。感谢这些研究人员的工作。

引用

如果您发现我们的代码或论文有用，请引用ObjectSDF系列工作。

@inproceedings{wu2022object,
  title      = {Object-compositional neural implicit surfaces},
  author     = {Wu, Qianyi and Liu, Xian and Chen, Yuedong and Li, Kejie and Zheng, Chuanxia and Cai, Jianfei and Zheng, Jianmin},
  booktitle  = {European Conference on Computer Vision},
  year       = {2022},
}

@inproceedings{wu2023objsdfplus,
  author    = {Wu, Qianyi and Wang, Kaisiyuan and Li, Kejie and Zheng, Jianmin and Cai, Jianfei},
  title     = {ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces},
  booktitle = {ICCV},
  year      = {2023},
}