Github
Huggingface
论文Instant-angelo 项目简介
项目概述
Instant-angelo 是一项创新的项目，旨在快速创建高保真数字孪生体（Digital Twin），并且时间仅需 20 分钟！它能够从常见的移动设备拍摄的 RGB 视频中构建出逼真的 3D 表面。这些 3D 表面不论是小型物体还是大型真实场景，都能展现出卓越的三维地理细节。然而，目前的方法在速度和细节保真度上仍有改进空间。Instant-angelo 正致力于研究如何在短时间内达到高质量的重建效果。
最新进展
项目新增了 UniSDF 的重新实现，这是一种通用微分渲染器，用于反射物体的 3D 重建，表现出了最先进的效果。通过在反射模式下的应用，Instant-angelo 将能够更好地重建反光表面，提升项目的逼真度及重建速度。
项目目标
目前的 Neuralangelo 版本在实际场景重建上需要 40 小时和 40 GB 的显存。为了弥补这一不足，Instant-angelo 计划开发一个改进版的模型，使得在 20 分钟内实现高保真的神经表面重建成为可能，不牺牲质量。
安装说明
项目对安装环境有一定要求。在终端中，用户需要运行如下命令以安装必要的软件包：
pip install torch torchvision
pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
pip install -r requirements.txt
有关 COLMAP 的安装说明，请访问其官方网站。
数据准备
在进行重建之前，用户需要准备数据并按照如下结构组织：
-data_001
-images
-mask (optional)
-data_002
-images
-mask (optional)
使用 COLMAP 后，可以用提供的脚本进行预处理和滤波以优化重建效果。
重建开始
项目提供了不同的重建模式，从平滑表面重建到细节表面重建，以及实验性的反射表面重建，用户可以根据具体需求选择不同的模式。
平滑表面重建
这种模式适用于表面光滑、细节较少的物体。执行命令：
bash run_neuralangelo-colmap_sparse.sh ${INPUT_DIR}
细节表面重建
如果需要高保真的细节重建，并有现成的点云数据，可以使用以下命令：
bash run_neuralangelo-colmap_dense.sh ${INPUT_DIR}
实验性反射表面重建
对于反射表面的重建，可以尝试：
bash run_neuralangelo-colmap_sparse_reflection.sh ${INPUT_DIR}
常见问题解答
1. CUDA 内存不足怎么办？
Instant-angelo 需要至少 10GB 的 GPU 内存。可以尝试降低 model.num_samples_per_ray 的数值从 1024 到 512。
2. 我可以在商业项目中使用该项目吗？
项目采用 MIT 许可证，允许商业使用，但需适当归属原作者和项目。
3. 我的自定义数据集重建效果不好怎么办？
如果遇到与数据集不兼容的问题，请联系项目维护者或在项目页面提出问题。
相关项目
- instant-nsr-pl：优秀的 PyTorch-Lightning 实现
- neuralangelo：Neuralangelo 官方实现
- sdfstudio：基于 SDF 的神经重建统一框架
致谢
特别感谢 UniSDF 的作者 Fangjinhua Wang 以及 instant-nsr-pl 的 bennyguo 等人对项目改进的贡献。
