GNT - 使用Transformer重建和渲染NeRF模型

GNT 项目介绍

背景介绍

在计算机图形学领域，NeRF（神经辐射场）技术的发展在生成逼真三维场景和图像方面展现出了巨大的潜力。然而，传统的NeRF算法通常需要对每个场景进行独立优化，这种方式不仅需要复杂的渲染方程，还耗时费力。针对这一问题，GNT（Generalizable NeRF Transformer）项目提出了一种基于Transformer的统一架构，旨在提高NeRF的通用性和效率。

项目概述

GNT项目提出了一种全新的Transformer架构，以实现高效的神经场景重建。它由两个主要阶段组成：

视图转换器（View Transformer）：利用多视角几何作为归纳偏置，通过聚合邻近视图上的极线信息，推导坐标对齐的特征。这一阶段采用了注意力机制来进行场景表示。
射线转换器（Ray Transformer）：借助射线行进技术，将采样点特征序列进行直接解码，从而生成新视角图像。

通过实验，GNT在单场景优化时能够成功重建NeRF，甚至在复杂场景中，通过可学习射线渲染器提升了约1.3 dB的PSNR表现。当在不同场景上进行训练时，GNT在将其应用到正面LLFF数据集和合成Blender数据集时，分别取得了20%和4%的视觉损失（LPIPS）降低，以及25%和4%的结构相似性（SSIM）提升。此外，研究还发现，通过学习到的注意力图可以推断深度和遮挡信息，这指出纯注意力机制具有学习物理渲染过程的能力。

实验结果与意义

GNT在多场景训练与测试中，展示了其优越的通用性能和场景重建效果。具体而言：

在单场景下，不需要显式的渲染公式就能重建NeRF。
凭借可学习的渲染器，显著提升了复杂场景的重建质量。
在多场景训练时，成功在不同数据集上实现最先进（State-of-the-Art，SOTA）的表现。

此项研究不仅为Transformers在计算机图形学中的应用打开了新的可能性，也为未来的研究提供了一个通用的建模工具。

技术指导

环境与安装

项目代码已在Python 3.8、CUDA 11.1及PyTorch 1.10.1环境下进行测试。运行环境依赖的库包括：torchvision、ConfigArgParse、imageio、matplotlib、numpy、opencv_contrib_python、Pillow、scipy、imageio-ffmpeg、lpips 和 scikit-image。

查找项目源码并克隆到本地：

git clone https://github.com/MukundVarmaT/GNT.git
cd GNT/

数据集

GNT项目再利用了IBRNet的训练和评估数据集。所有数据集需要下载到项目文件夹内的 data/ 目录，并遵循特定的目录结构进行组织。

使用方法

训练：可以选择单场景或跨场景进行训练。
预训练模型：提供基于LLFF和Synthetic数据集的预训练模型。
评估和渲染：支持对不同场景进行评估和视频渲染。

结语

GNT项目通过极大化Transformer架构的能力，展现了在三维场景重建中的应用前景。随着研究的深入，Transformer有望成为图形建模领域的重要工具，为计算机视觉和图形学的融合探索更广阔的解决方案。