2D高斯散射:实现几何精确的辐射场
近年来,3D高斯散射(3DGS)技术在辐射场重建领域引起了革命性的变革,实现了高质量的新视角合成和快速渲染。然而,由于3D高斯的多视图不一致性,3DGS无法准确表示表面。为了解决这个问题,来自上海科技大学和图宾根大学的研究人员提出了一种新的方法 - 2D高斯散射(2DGS),用于从多视图图像中建模和重建几何精确的辐射场。
2DGS的核心思想
2DGS的关键创新在于将3D体积压缩为一组2D定向平面高斯圆盘。与3D高斯不同,2D高斯提供了视图一致的几何表示,同时本质上建模了表面。为了准确恢复薄表面并实现稳定的优化,研究人员引入了一种透视精确的2D散射过程,利用射线-散射交叉和光栅化。
2DGS的主要特点
-
视图一致的几何表示: 2D高斯圆盘提供了视图一致的几何表示,克服了3D高斯的多视图不一致性问题。
-
表面建模: 2D高斯本质上建模了表面,更适合表示真实世界的物体。
-
透视精确的2D散射: 引入了一种利用射线-散射交叉和光栅化的透视精确2D散射过程,以准确恢复薄表面并实现稳定优化。
-
正则化技术: 加入了深度失真和法线一致性项,进一步提高重建质量。
-
可微分渲染器: 允许进行无噪声和详细的几何重建,同时保持有竞争力的外观质量、快速的训练速度和实时渲染能力。
2DGS的实现与应用
2DGS的官方实现已在GitHub上开源。该项目基于PyTorch构建,提供了完整的训练和测试流程。研究人员还开发了一些配套工具,如SIBR查看器和Web查看器,方便用户可视化和交互2DGS的结果。
主要应用场景包括:
- 新视角合成: 2DGS可以生成高质量的新视角图像,适用于虚拟现实和增强现实等领域。
- 3D重建: 通过2DGS可以从多视图图像中重建出精确的3D几何模型。
- 计算机视觉研究: 2DGS为计算机视觉领域提供了一种新的场景表示方法,有望推动相关研究的发展。
2DGS的性能评估
研究人员在多个数据集上评估了2DGS的性能,包括MipNeRF360和DTU数据集。结果显示,2DGS在几何重建精度上明显优于3DGS,同时在新视角合成质量上也保持了竞争力。
以DTU数据集为例,2DGS在Chamfer距离(越低越好)上的表现如下:
| 方法 | 平均Chamfer距离 |
|---|---|
| 论文结果 | 0.80 |
| 复现结果 | 0.74 |
这一结果表明,2DGS在几何重建精度上有显著优势。
最新进展与未来展望
自项目发布以来,研究团队持续对2DGS进行改进和扩展:
- 支持无界网格提取,可以导出任意大小的网格。
- 通过CUDA算子融合提高了30%~40%的训练速度。
- 开发了多个查看器,包括基于Web的GaussianSplats3D和基于Viser的远程查看器。
这些进展大大提升了2DGS的实用性和易用性。未来,研究团队计划进一步优化2DGS的性能,探索更多应用场景,并完善相关工具链。
结语
2D高斯散射技术为辐射场重建和3D场景表示提供了一种新的范式。通过将3D高斯压缩为2D定向圆盘,2DGS成功地解决了3DGS在表面表示上的不足,同时保持了高效的渲染性能。这一创新有望在计算机视觉、计算机图形学和虚拟/增强现实等领域带来广泛应用。随着技术的不断完善和工具链的丰富,我们可以期待看到2DGS在更多实际场景中的应用和impact。
对于有兴趣深入了解或尝试2DGS的读者,可以访问项目的GitHub仓库(https://github.com/hbb1/2d-gaussian-splatting)获取更多信息和代码资源。研究人员也欢迎社区贡献,共同推动这一技术的发展。
