TriplaneGaussian: 基于变压器的快速单视图3D重建新方法

TriplaneGaussian: 变革性的3D重建技术

在计算机视觉和图形学领域,从单张2D图像重建3D模型一直是一个具有挑战性的任务。近年来,随着生成模型的进步,这一领域取得了显著的发展。然而,现有方法往往面临着优化或渲染过程缓慢、训练时间长等限制。为了解决这些问题,研究人员提出了一种名为TriplaneGaussian的新方法,该方法能够在几秒钟内从单张图像快速重建出高质量的3D模型。

创新的混合表示

TriplaneGaussian的核心创新在于其采用了一种混合的Triplane-Gaussian中间表示。这种表示方法巧妙地结合了显式和隐式表示的优点,在渲染速度和重建质量之间取得了很好的平衡。具体来说,该方法使用两个基于变压器的网络:一个点云解码器和一个triplane解码器。

点云解码器负责从单张图像生成点云,提供一个初步的显式3D表示。然后,triplane解码器利用这个点云,为每个点查询高斯特征。这种设计很好地解决了直接回归显式3D高斯属性所面临的挑战,因为这些属性本质上是非结构化的。

TriplaneGaussian框架概览

快速高效的重建过程

TriplaneGaussian的工作流程如下:

首先,利用预训练的ViT模型将输入图像及其相机参数编码为一组潜在特征标记。
点云解码器和triplane解码器分别以初始位置嵌入作为输入,通过交叉注意力机制将图像标记投影到各自3D表示的潜在特征标记上。
对解码器的输出进行去标记化,得到点云和triplane。
使用条件感知投影的点云上采样模块对点云进行加密。
利用几何感知编码将点云特征投影到triplane潜在空间的初始位置嵌入中。
最后,利用点云、triplane特征和图像特征解码3D高斯,用于新视角渲染。

整个过程高效快速,能够在几秒钟内完成从单张图像到3D模型的重建。

出色的泛化能力

TriplaneGaussian展现出了优秀的泛化能力。研究人员在合成数据集和真实世界图像上进行了大量实验,结果表明该方法不仅能重建出更高质量的3D模型,而且运行时间也比之前的最先进技术更短。

不同表示方法的对比

上图展示了不同3D表示方法的质量对比:(1)朴素的可泛化3D高斯(3DG),(2)Triplane-NeRF和(3)Triplane-Gaussian。可以看出,TriplaneGaussian方法在重建质量上有明显优势。

广泛的应用前景

TriplaneGaussian的出现为许多领域带来了新的可能性:

增强现实(AR)和虚拟现实(VR): 能够快速从单张图像重建3D模型,有助于创建更加丰富和逼真的AR/VR体验。
电子商务: 可以轻松地将产品图片转换为3D模型,为在线购物提供更好的可视化体验。
建筑和室内设计: 从单张房间照片快速生成3D模型,有助于设计师和客户更好地进行沟通和规划。
游戏开发: 为游戏开发者提供了一种快速创建3D资产的方法,可以大大提高开发效率。
文化遗产保护: 可以从历史文物的照片重建3D模型,有助于数字化保存和研究。

开源与社区贡献

TriplaneGaussian项目已在GitHub上开源(https://github.com/VAST-AI-Research/TriplaneGaussian),研究人员提供了预训练模型和推理代码,方便其他研究者和开发者进行进一步的探索和应用。此外,项目还提供了一个在线的Gradio演示(https://huggingface.co/spaces/VAST-AI/TriplaneGaussian),让用户可以直接体验这项技术的魅力。

未来展望

尽管TriplaneGaussian已经取得了令人瞩目的成果,但研究人员表示还有进一步提升的空间。目前发布的模型仅在包含约45K个3D模型的Objaverse-LVIS数据集上训练。研究人员计划在未来探索使用更大的模型(例如,更深的层数、更多的特征通道)和更大的数据集(如完整的Objaverse数据集)进行训练,以期获得更强的性能。

此外,研究人员也鼓励社区贡献者参与到项目中来,共同推动这项技术的发展。例如,可以探索如何将TriplaneGaussian与其他计算机视觉任务结合,或者如何进一步优化算法以提高重建速度和质量。