4D高斯散射实时动态场景渲染

CVPR 2024

项目主页 | arXiv论文

吴冠军 ^1*, 易陶然 ^2*, 方杰敏 ^3‡, 谢凌曦 ³,
张晓鹏 ³, 魏巍 ¹, 刘文预 ², 田奇 ³, 王兴刚 ^2‡✉

¹华中科技大学计算机科学与技术学院 ²华中科技大学电子信息与通信学院 ³华为公司

^* 贡献相同。 ^‡ 项目负责人。 ^✉ 通讯作者。

block 我们的方法收敛速度非常快，并实现了实时渲染速度。

新的Colab演示： (感谢 Tasmay-Tibrewal)

旧的Colab演示： (感谢 camenduru。)

Light Gaussian实现：此链接 (感谢 pablodawson)

新闻

2024.6.25：我们清理了代码并添加了参数说明。

2024.3.25：更新了hypernerf和dynerf数据集的指导。

2024.03.04：我们更改了Neu3D数据集的超参数，与我们的论文相对应。

2024.02.28：更新SIBR查看器指导。

2024.02.27：被CVPR 2024接收。我们删除了一些用于调试的日志设置，修正后的训练时间在D-NeRF数据集上仅为8分钟（之前为20分钟），在HyperNeRF数据集上为30分钟（之前为1小时）。渲染质量不受影响。

环境设置

请按照3D-GS的指示安装相关包。

git clone https://github.com/hustvl/4DGaussians
cd 4DGaussians
git submodule update --init --recursive
conda create -n Gaussians4D python=3.7 
conda activate Gaussians4D

pip install -r requirements.txt
pip install -e submodules/depth-diff-gaussian-rasterization
pip install -e submodules/simple-knn

在我们的环境中，我们使用pytorch=1.13.1+cu116。

数据准备

对于合成场景： 使用D-NeRF提供的数据集。你可以从dropbox下载数据集。

对于真实动态场景： 使用HyperNeRF提供的数据集。你可以从Hypernerf数据集下载场景并按照Nerfies的方式组织它们。

同时，Plenoptic数据集可以从其官方网站下载。为了节省内存，你应该提取每个视频的帧，然后按如下方式组织你的数据集。

├── data
│   | dnerf 
│     ├── mutant
│     ├── standup 
│     ├── ...
│   | hypernerf
│     ├── interp
│     ├── misc
│     ├── virg
│   | dynerf
│     ├── cook_spinach
│       ├── cam00
│           ├── images
│               ├── 0000.png
│               ├── 0001.png
│               ├── 0002.png
│               ├── ...
│       ├── cam01
│           ├── images
│               ├── 0000.png
│               ├── 0001.png
│               ├── ...
│     ├── cut_roasted_beef
|     ├── ...

对于多视角场景： 如果你想训练自己的多视角场景数据集，你可以按如下方式组织你的数据集：

├── data
|   | multipleview
│     | (你的数据集名称) 
│   	  | cam01
|     		  ├── frame_00001.jpg
│     		  ├── frame_00002.jpg
│     		  ├── ...
│   	  | cam02
│     		  ├── frame_00001.jpg
│     		  ├── frame_00002.jpg
│     		  ├── ...
│   	  | ...

之后，你可以使用我们提供的multipleviewprogress.sh来生成相关的姿态和点云数据。你可以这样使用它：

bash multipleviewprogress.sh (你的数据集名称)

你需要确保运行multipleviewprogress.sh后，数据文件夹按以下方式组织：

├── data
|   | multipleview
│     | (你的数据集名称) 
│   	  | cam01
|     		  ├── frame_00001.jpg
│     		  ├── frame_00002.jpg
│     		  ├── ...
│   	  | cam02
│     		  ├── frame_00001.jpg
│     		  ├── frame_00002.jpg
│     		  ├── ...
│   	  | ...
│   	  | sparse_
│     		  ├── cameras.bin
│     		  ├── images.bin
│     		  ├── ...
│   	  | points3D_multipleview.ply
│   	  | poses_bounds_multipleview.npy

训练

对于训练合成场景，如bouncingballs，运行

python train.py -s data/dnerf/bouncingballs --port 6017 --expname "dnerf/bouncingballs" --configs arguments/dnerf/bouncingballs.py

对于训练dynerf场景，如cut_roasted_beef，运行

# 首先，提取每个视频的帧。
python scripts/preprocess_dynerf.py --datadir data/dynerf/cut_roasted_beef
# 其次，从输入数据生成点云。
bash colmap.sh data/dynerf/cut_roasted_beef llff
# 第三，对第二步生成的点云进行下采样。
python scripts/downsample_point.py data/dynerf/cut_roasted_beef/colmap/dense/workspace/fused.ply data/dynerf/cut_roasted_beef/points3D_downsample2.ply
# 最后，训练。
python train.py -s data/dynerf/cut_roasted_beef --port 6017 --expname "dynerf/cut_roasted_beef" --configs arguments/dynerf/cut_roasted_beef.py

对于训练hypernerf场景，如virg/broom：由COLMAP预生成的点云可在此处下载。只需下载它们并放入相应文件夹，你就可以跳过前两个步骤。你也可以直接运行以下命令。

# 首先，通过COLMAP计算密集点云
bash colmap.sh data/hypernerf/virg/broom2 hypernerf
# 其次，对第一步生成的点云进行下采样。
python scripts/downsample_point.py data/hypernerf/virg/broom2/colmap/dense/workspace/fused.ply data/hypernerf/virg/broom2/points3D_downsample2.ply
# 最后，训练。
python train.py -s  data/hypernerf/virg/broom2/ --port 6017 --expname "hypernerf/broom2" --configs arguments/hypernerf/broom2.py

对于训练多视角场景，你需要在"./arguments/mutipleview"下创建一个名为(你的数据集名称).py的配置文件，然后运行

python train.py -s  data/multipleview/(你的数据集名称) --port 6017 --expname "multipleview/(你的数据集名称)" --configs arguments/multipleview/(你的数据集名称).py

对于你的自定义数据集，安装nerfstudio并遵循他们的COLMAP流程。你应该首先安装COLMAP，然后：

pip install nerfstudio
# 通过colmap流程计算相机姿态
ns-process-data images --data data/your-data --output-dir data/your-ns-data
cp -r data/your-ns-data/images data/your-ns-data/colmap/images
python train.py -s data/your-ns-data/colmap --port 6017 --expname "custom" --configs arguments/hypernerf/default.py

你可以通过配置文件自定义你的训练配置。

检查点

你也可以使用检查点训练你的模型。

python train.py -s data/dnerf/bouncingballs --port 6017 --expname "dnerf/bouncingballs" --configs arguments/dnerf/bouncingballs.py --checkpoint_iterations 200 # 更改它。

然后加载检查点：

python train.py -s data/dnerf/bouncingballs --port 6017 --expname "dnerf/bouncingballs" --configs arguments/dnerf/bouncingballs.py --start_checkpoint "output/dnerf/bouncingballs/chkpnt_coarse_200.pth"
# 最终阶段：--start_checkpoint "output/dnerf/bouncingballs/chkpnt_fine_200.pth"

渲染

运行以下脚本来渲染图像。

python render.py --model_path "output/dnerf/bouncingballs/"  --skip_train --configs arguments/dnerf/bouncingballs.py

评估

你可以直接运行以下脚本来评估模型。

python metrics.py --model_path "output/dnerf/bouncingballs/"

查看器

查看使用说明

脚本

这里有一些有用的脚本，请随意使用它们。

export_perframe_3DGS.py：获取每个时间戳的所有3D高斯点云。

用法：

python export_perframe_3DGS.py --iteration 14000 --configs arguments/dnerf/lego.py --model_path output/dnerf/lego

一组3D高斯分布将保存在output/dnerf/lego/gaussian_pertimestamp中。

weight_visualization.ipynb:

可视化多分辨率HexPlane模块的权重。

merge_many_4dgs.py: 合并你训练好的4dgs模型。使用方法:

export exp_name="dynerf"
python merge_many_4dgs.py --model_path output/$exp_name/sear_steak

colmap.sh: 从输入数据生成点云

bash colmap.sh data/hypernerf/virg/vrig-chicken hypernerf 
bash colmap.sh data/dynerf/sear_steak llff

Blender格式似乎无法正常工作。欢迎提交拉取请求来修复这个问题。

downsample_point.py:对由sfm生成的点云进行下采样。

python scripts/downsample_point.py data/dynerf/sear_steak/colmap/dense/workspace/fused.ply data/dynerf/sear_steak/points3D_downsample2.ply

在我的论文中，我总是使用colmap.sh生成密集点云，并将其下采样至少于40000个点。

这里有一些可能有用但未在我的论文中采用的代码，你也可以尝试一下。

优秀的相关/同期工作

欢迎也查看这些优秀的相关/同期工作，包括但不限于：

用于高保真单目动态场景重建的可变形3D高斯分布

SC-GS: 用于可编辑动态场景的稀疏控制高斯散射

MD-Splatting: 在高度可变形场景中从4D高斯分布学习度量变形

4DGen: 具有时空一致性的基于实际场景的4D内容生成

Diffusion4D: 通过视频扩散模型实现快速时空一致的4D生成

DreamGaussian4D: 生成式4D高斯散射

EndoGaussian: 用于动态内窥镜场景重建的实时高斯散射

EndoGS: 使用高斯散射的可变形内窥镜组织重建

Endo-4DGS: 使用4D高斯散射的内窥镜单目场景重建

贡献

本项目仍在开发中。欢迎提出问题或提交拉取请求，为我们的代码库做出贡献。

我们的部分源代码借鉴自3DGS、K-planes、HexPlane、TiNeuVox和Depth-Rasterization。我们衷心感谢这些作者的出色工作。

致谢

我们衷心感谢@zhouzhenghong-gt对我们代码的修订以及对论文内容的讨论。

引用

关于神经体素网格和动态场景重建的一些见解来自TiNeuVox。如果你发现这个仓库/工作对你的研究有帮助，欢迎引用这些论文并给个⭐。

@InProceedings{Wu_2024_CVPR,
    author    = {Wu, Guanjun and Yi, Taoran and Fang, Jiemin and Xie, Lingxi and Zhang, Xiaopeng and Wei, Wei and Liu, Wenyu and Tian, Qi and Wang, Xinggang},
    title     = {4D Gaussian Splatting for Real-Time Dynamic Scene Rendering},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2024},
    pages     = {20310-20320}
}

@inproceedings{TiNeuVox,
  author = {Fang, Jiemin and Yi, Taoran and Wang, Xinggang and Xie, Lingxi and Zhang, Xiaopeng and Liu, Wenyu and Nie\ss{}ner, Matthias and Tian, Qi},
  title = {Fast Dynamic Radiance Fields with Time-Aware Neural Voxels},
  year = {2022},
  booktitle = {SIGGRAPH Asia 2022 Conference Papers}
}