SF3D:具有UV展开和光照解耦的稳定快速3D网格重建
这是Stable Fast 3D的官方代码库,它是一个最先进的开源模型,用于从单张图像进行快速前馈3D网格重建。
Stable Fast 3D基于TripoSR,但引入了几项新的关键技术。首先,我们明确优化了模型,以生成无瑕疵的网格和具有UV展开的纹理。我们还对颜色进行去光照处理并预测材质参数,使资产更易于集成到游戏中。我们实现了所有这些功能,同时保持了TripoSR的快速推理速度。
入门指南
安装
确保您的环境:
- Python >= 3.8
- 可用CUDA
- 根据您的平台安装了PyTorch:https://pytorch.org/get-started/locally/ [确保PyTorch CUDA版本与您系统的版本匹配。]
- 通过
pip install -U setuptools==69.5.1
更新setuptools
然后使用pip install -r requirements.txt
安装其余依赖。
对于gradio演示,还需要额外执行pip install -r requirements-demo.txt
。
手动推理
python run.py demo_files/examples/chair1.png --output-dir output/
这将把重建的3D模型保存为GLB文件到output/
目录。您也可以指定多个以空格分隔的图像路径。默认选项对单张图像输入需要约6GB显存。
您还可以使用--texture-resolution
指定输出纹理的分辨率(以像素为单位),使用--remesh_option
指定重网格化操作(None、Triangle、Quad)。
有关此脚本的详细用法,请使用python run.py --help
。
本地Gradio应用
python gradio_app.py
引用
@article{sf3d2024,
title={SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement},
author={Boss, Mark and Huang, Zixuan and Vasishta, Aaryaman and Jampani, Varun},
journal={arXiv preprint},
year={2024}
}