tetra-nerf - 四面体表示法提升神经辐射场渲染效率

四面体NeRF 四面体NeRF论文的官方实现

项目页面 | 论文 | 演示

四面体NeRF：使用四面体表示神经辐射场
Jonas Kulhanek¹，Torsten Sattler¹
¹ 捷克技术大学

方法概述
四面体NeRF的输入是一个点云，经过三角剖分得到一组四面体，用于表示辐射场。采样射线并查询该场。使用重心插值来插值四面体顶点，将结果特征传递给一个浅层的多层感知机以获得体积渲染的密度和颜色。

更新！ 四面体NeRF现在更快且性能更好，这要归功于使用有偏采样而不是沿射线均匀采样。论文中的配置已更名为 tetra-nerf-original。 tetra-nerf 现在指向新的配置。

简介

首先安装四面体NeRF。安装说明见安装部分。如果您想复现论文中的结果，请按照复现结果部分的说明操作，它将指导您下载数据并运行训练。我们还发布了生成的图像。

如果您想使用四面体NeRF处理自己收集的数据，请按照使用自定义数据部分的说明操作。

使用自定义数据

在使用自己的图像进行训练时，首先需要COLMAP模型来获取相机姿态和稀疏点云。您可以自己运行COLMAP或使用我们的脚本以默认COLMAP参数构建模型。首先准备一个包含您数据的文件夹。在该文件夹中，创建一个名为images的子文件夹，并将所有图像复制到其中。

没有现有的COLMAP模型

只需运行以下命令:

python -m tetranerf.scripts.process_images --path <数据文件夹>

此命令将从所有图像创建一个单一的稀疏COLMAP模型，用于相机姿态和输入点云。但是，如果您关心正确的评估，则希望输入点云仅由训练图像构建。在这种情况下，可以使用 --separate-training-pointcloud 标志。启用此标志后，该脚本将创建两个稀疏模型: 第一个使用所有图像获取所有图像的相机姿态，第二个仅使用训练图像。

最后，开始训练:

ns-train tetra-nerf colmap --data <数据文件夹>

有现有的COLMAP

如果您已经有一个稀疏的COLMAP模型，请将其移动到数据文件夹。文件夹结构应该如下所示:

images
  ...
sparse
  0
    cameras.bin
    ...

最后，开始训练:

ns-train tetra-nerf colmap --data <数据文件夹>

复现结果

我们首先介绍如何下载和预处理数据，然后运行训练。我们还发布了生成的图像。

获取数据

首先，请下载并解压缩数据集。

从这里下载 Blender 数据集: https://drive.google.com/file/d/18JxhpWD-4ZmuFKLzKlAw-w5PpzZxXOcG/view?usp=share_link。在本教程中，我们假设数据已被解压缩并移动到 data/blender 文件夹，其中应该包含 lego、drums 等文件夹。对于 Blender 数据集，我们还提供了 Point-NeRF 使用的点云。请下载并解压缩以下文件: https://data.ciirc.cvut.cz/public/projects/2023TetraNeRF/assets/pointnerf-blender.zip 到 data/pointnerf-blender 文件夹，其中应该包含: pointnerf-colmap-drums.ply 等。
从这里下载 Tanks and Temples 数据集: https://dl.fbaipublicfiles.com/nsvf/dataset/TanksAndTemple.zip。将其解压缩到 data/nsvf-tanks-and-temples。Ignatius 场景的内参文件已损坏，因此我们在这里提供了我们自己重建的数据: https://data.ciirc.cvut.cz/public/projects/2023TetraNeRF/assets/tt-ignatius.zip。请将 data/nsvf-tanks-and-temples/Ignatius 路径替换为下载和解压缩的文件。您不再需要对该场景运行处理步骤。
从这里下载 Mip-NeRF 360 数据集: http://storage.googleapis.com/gresearch/refraw360/360_v2.zip。将其解压缩到 data/mipnerf360。

接下来必须转换姿势，以便在 NerfStudio 中加载。确保安装了 COLMAP 和 FFmpeg。如果没有安装 COLMAP，可以按照这里的说明进行安装: https://colmap.github.io/install.html，或者您可以使用 conda 进行安装。使用以下命令转换数据并生成输入四面体。

对于 Blender 数据集中的每个场景,运行以下命令:

python -m tetranerf.scripts.process_blender --transforms data/blender/<场景>/transforms_train.json --output data/blender/<场景>
python -m tetranerf.scripts.triangulate --pointcloud data/blender/<场景>/sparse.ply --output data/blender/<场景>/sparse-1.th --random-points-ratio 1
python -m tetranerf.scripts.triangulate --pointcloud data/pointnerf-blender/pointnerf-colmap-<场景>.ply --output data/blender/<场景>/pointnerf-0.5.th --random-points-ratio 0.5

对于 Tanks and Temples 数据集中的每个场景,运行以下命令:

python -m tetranerf.scripts.process_tanksandtemples --path data/nsvf-tanks-and-temples/<场景> --output data/nsvf-tanks-and-temples/<场景>
python -m tetranerf.scripts.triangulate --pointcloud data/nsvf-tanks-and-temples/<场景>/dense.ply --output data/nsvf-tanks-and-temples/<场景>/dense-1M.th

对于 Mip-NeRF 360 数据集中的每个场景,运行以下命令:

python -m tetranerf.scripts.process_mipnerf360 --downscale-factor <2 对于室内, 4 对于室外场景> --run-dense --path data/mipnerf360/<场景>
python -m tetranerf.scripts.triangulate --pointcloud data/mipnerf360/<场景>/sparse.ply --output data/mipnerf360/<场景>/sparse-1.th --random-points-ratio 1
python -m tetranerf.scripts.triangulate --pointcloud data/mipnerf360/<场景>/dense.ply --output data/mipnerf360/<场景>/dense-1M.th

训练的运行要运行训练,请使用以下命令:

对于 Blender 数据集, 运行以下命令:

ns-train tetra-nerf-original --pipeline.model.tetrahedra-path data/blender/<scene>/pointnerf-0.5.th blender-data --data data/blender/<scene>

对于 Tanks and Temples 数据集, 运行以下命令:

ns-train tetra-nerf-original --pipeline.model.tetrahedra-path data/nsvf-tanks-and-temples/<scene>/dense-1M.th minimal-parser --data data/nsvf-tanks-and-temples/<scene>

对于 Mip-NeRF 360 数据集, 运行以下命令:

ns-train tetra-nerf-original --pipeline.model.tetrahedra-path data/mipnerf360/<scene>/dense-1M.th minimal-parser --data data/mipnerf360/<scene>

安装首先,请确保安装以下内容:

CUDA (>=11.3)
PyTorch (>=1.12.1)
Nerfstudio (>=0.2.0)
OptiX (>=7.2,<=7.6, preferably 7.6)
CGAL
CMake (>=3.22.1)

我们建议使用conda环境, CMake, CGAL, torch 可以使用conda install轻松安装。我们的代码经过 python 3.10 测试, 但任何 python>=3.7 也应该得到支持。您可以按照 nerfstudio 仓库中的 "入门" 部分 https://github.com/nerfstudio-project/nerfstudio#readme。请确保 Nerfstudio 已安装并正常工作。如果运行 ns-train 没有任何错误信息, 就表示安装正常。您也可以通过运行以下命令测试 torch 安装:

python -c 'import torch; import torch.utils.cpp_extension;arch=(";".join(sorted(set(x.split("_")[-1] for x in torch.utils.cpp_extension._get_cuda_arch_flags()))));print(f"CUDA: {torch.version.cuda}, compute: {arch}")'

这将输出您的 CUDA 版本和 CUDA 计算能力,应该大于 61, 理想情况下为 86。

OptiX 库可以从这里安装 https://developer.nvidia.com/designworks/optix/downloads/legacy。如果您将其安装到非标准路径,请在构建 Tetra-NeRF 时设置环境变量 OPTIX_PATH=/path/to/optix。

最后, 您可以通过运行以下命令安装 Tetra-NeRF:

git clone https://github.com/jkulhanek/tetra-nerf
cd tetra-nerf
cmake .
make 
pip install -e .

Docker 或者, 您也可以在 docker 镜像中运行 Tetra-NeRF:

docker pull kulhanek/tetra-nerf:latest
docker run --rm -it --gpus all -p 7007:7007 kulhanek/tetra-nerf:latest

请注意, 需要正确安装和配置 nvidia-container-toolkit。

您也可以构建自定义镜像。请遵循附带的 Dockerfile 中的说明。

预测为了更容易与我们的方法进行比较, 我们还提供了测试集的预测图像。

数据集	预测	输入四面体
Mip-NeRF 360 (公开场景)	下载	下载
Blender	下载	下载
Tanks and Temples	下载	下载

感谢这个项目是建立在 NerfStudio 之上的

快速光线追踪是由 NVIDIA OptiX 提供的

引用如果您使用了我们的工作或在此基础上进行构建,请使用以下引用:

@article{kulhanek2023tetranerf,
  title={{T}etra-{NeRF}: Representing Neural Radiance Fields Using Tetrahedra},
  author={Kulhanek, Jonas and Sattler, Torsten},
  journal={arXiv preprint arXiv:2304.09987},
  year={2023},
}