MVSplat：基于稀疏多视图图像的高效3D高斯散射

陈岳东  ·  徐浩飞  ·  郑传霞  ·  庄博涵
Marc Pollefeys  ·  Andreas Geiger  ·  Tat-Jen Cham  ·  蔡剑飞

ECCV 2024 口头报告

论文 | 项目主页 | 预训练模型

https://github.com/donydchen/mvsplat/assets/5866866/c5dc5de1-819e-462f-85a2-815e239d8ff2

安装

首先，克隆此项目，使用Python 3.10+创建一个conda虚拟环境，并安装所需依赖：

git clone https://github.com/donydchen/mvsplat.git
cd mvsplat
conda create -n mvsplat python=3.10
conda activate mvsplat
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

获取数据集

RealEstate10K和ACID

我们的MVSplat使用与pixelSplat相同的训练数据集。以下我们引用pixelSplat的详细说明来获取数据集。

pixelSplat使用了RealEstate10k和ACID数据集的版本，这些版本被分割成约100 MB的小块，以便在服务器集群文件系统上使用。你可以在这里找到这种格式的Real Estate 10k和ACID数据集的小型子集。要使用它们，只需将它们解压到项目根目录下新创建的datasets文件夹中。

如果你想将下载的Real Estate 10k和ACID数据集转换为我们的格式，可以使用这里的脚本。如果你需要我们处理过的完整数据集版本（Real Estate 10k约500 GB，ACID约160 GB），请联系我们（pixelSplat）。

DTU（仅用于测试）

• 下载预处理的DTU数据dtu_training.rar。
• 通过运行python src/scripts/convert_dtu.py --input_dir PATH_TO_DTU --output_dir datasets/dtu将DTU转换为小块。
• [可选] 通过运行python src/scripts/generate_dtu_evaluation_index.py --n_contexts=N生成评估索引，其中N是上下文视图的数量。（对于N=2和N=3，我们已经在/assets下提供了我们测试过的版本。）

运行代码

评估

要从预训练模型渲染新视图并计算评估指标，请执行以下操作：

• 获取预训练模型，并将它们保存到/checkpoints

• 运行以下命令：

# re10k
python -m src.main +experiment=re10k \
checkpointing.load=checkpoints/re10k.ckpt \
mode=test \
dataset/view_sampler=evaluation \
test.compute_scores=true

# acid
python -m src.main +experiment=acid \
checkpointing.load=checkpoints/acid.ckpt \
mode=test \
dataset/view_sampler=evaluation \
dataset.view_sampler.index_path=assets/evaluation_index_acid.json \
test.compute_scores=true

• 渲染的新视图将存储在outputs/test下

要从预训练模型渲染视频，请运行以下命令：

# re10k
python -m src.main +experiment=re10k \
checkpointing.load=checkpoints/re10k.ckpt \
mode=test \
dataset/view_sampler=evaluation \
dataset.view_sampler.index_path=assets/evaluation_index_re10k_video.json \
test.save_video=true \
test.save_image=false \
test.compute_scores=false

训练

运行以下命令：

# 从unimatch下载预训练的骨干网络权重并保存到'checkpoints/'目录
wget 'https://s3.eu-central-1.amazonaws.com/avg-projects/unimatch/pretrained/gmdepth-scale1-resumeflowthings-scannet-5d9d7964.pth' -P checkpoints
# 训练mvsplat
python -m src.main +experiment=re10k data_loader.train.batch_size=14

我们的模型使用单个A100 (80GB) GPU进行训练。也可以通过为每个GPU设置较小的data_loader.train.batch_size在多个内存较小的GPU上进行训练。

#SBATCH --nodes=2           # 应与trainer.num_nodes匹配
#SBATCH --gres=gpu:2        # 每个节点的gpu数量
#SBATCH --ntasks-per-node=2

# 可选，用于调试
export NCCL_DEBUG=INFO
export HYDRA_FULL_ERROR=1
# 可选，设置网络接口，通过ifconfig获取
export NCCL_SOCKET_IFNAME=[您的网络接口]
# 可选，设置IB GID索引
export NCCL_IB_GID_INDEX=3

# 使用'srun'运行命令
srun python -m src.main +experiment=re10k \
data_loader.train.batch_size=4 \
trainer.num_nodes=2

python -m src.main +experiment=re10k data_loader.train.batch_size=14 \
checkpointing.load=checkpoints/re10k.ckpt \
checkpointing.resume=false

消融实验

我们还提供了一系列消融模型（在'ablations'文件夹下）。要评估它们，例如'base'模型，请运行以下命令

# 表3：base
python -m src.main +experiment=re10k \
checkpointing.load=checkpoints/ablations/re10k_worefine.ckpt \
mode=test \
dataset/view_sampler=evaluation \
test.compute_scores=true \
wandb.name=abl/re10k_base \
model.encoder.wo_depth_refine=true 

跨数据集泛化

我们使用在RealEstate10K上训练的默认模型进行跨数据集评估。要评估它们，例如在DTU上，请运行以下命令

# 表2：RealEstate10K -> DTU
python -m src.main +experiment=dtu \
checkpointing.load=checkpoints/re10k.ckpt \
mode=test \
dataset/view_sampler=evaluation \
dataset.view_sampler.index_path=assets/evaluation_index_dtu_nctx2.json \
test.compute_scores=true

更多运行命令可以在more_commands.sh中找到。

BibTeX

@article{chen2024mvsplat,
    title   = {MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images},
    author  = {Chen, Yuedong and Xu, Haofei and Zheng, Chuanxia and Zhuang, Bohan and Pollefeys, Marc and Geiger, Andreas and Cham, Tat-Jen and Cai, Jianfei},
    journal = {arXiv preprint arXiv:2403.14627},
    year    = {2024},
}

致谢

该项目主要基于pixelSplat，并融合了大量来自UniMatch的代码片段。非常感谢这两个项目的卓越贡献！