TripoSR
这是TripoSR的官方代码库,TripoSR是一个最先进的开源模型,用于从单张图像快速进行前馈式3D重建,由Tripo AI和Stability AI合作开发。
借鉴了大型重建模型(LRM)的原理,TripoSR带来了关键性的进步,显著提升了3D重建的速度和质量。我们的模型以快速处理输入而著称,能在NVIDIA A100 GPU上在不到0.5秒内生成高质量的3D模型。TripoSR在定性和定量评估中都表现出色,在多个公开数据集上超越了其他开源替代方案。下面的图表展示了TripoSR与其他领先模型相比的视觉对比和性能指标。有关模型架构、训练过程和比较的详细信息,可以在这份技术报告中找到。
该模型以MIT许可证发布,包括源代码、预训练模型和交互式在线演示。我们的目标是赋能研究人员、开发者和创意人员,推动3D生成AI和3D内容创作的可能性边界。
入门指南
安装
- Python >= 3.8
- 如果可用,请安装CUDA
- 根据您的平台安装PyTorch:https://pytorch.org/get-started/locally/ [请确保本地安装的CUDA主版本与PyTorch附带的CUDA主版本匹配。例如,如果您安装了CUDA 11.x,请确保安装使用CUDA 11.x编译的PyTorch。]
- 通过
pip install --upgrade setuptools
更新setuptools - 通过
pip install -r requirements.txt
安装其他依赖项
手动推理
python run.py examples/chair.png --output-dir output/
这将把重建的3D模型保存到 output/
目录。您也可以指定多个用空格分隔的图像路径。默认选项对单张图像输入需要约6GB VRAM。
如果您想输出纹理而不是顶点颜色,请使用 --bake-texture
选项。您还可以使用 --texture-resolution
来指定输出纹理的分辨率(以像素为单位)。
有关此脚本的详细用法,请使用 python run.py --help
。
本地Gradio应用
python gradio_app.py
故障排除
AttributeError: module 'torchmcubes_module' has no attribute 'mcubes_cuda'
或
torchmcubes was not compiled with CUDA support, use CPU version instead.
这是因为 torchmcubes
在编译时没有CUDA支持。请确保
- 本地安装的CUDA主版本与PyTorch附带的CUDA主版本匹配。例如,如果您安装了CUDA 11.x,请确保安装使用CUDA 11.x编译的PyTorch。
setuptools>=49.6.0
。如果不是,请通过pip install --upgrade setuptools
升级。
然后重新安装 torchmcubes
:
pip uninstall torchmcubes
pip install git+https://github.com/tatsy/torchmcubes.git
引用
@article{TripoSR2024,
title={TripoSR: Fast 3D Object Reconstruction from a Single Image},
author={Tochilkin, Dmitry and Pankratz, David and Liu, Zexiang and Huang, Zixuan and and Letts, Adam and Li, Yangguang and Liang, Ding and Laforte, Christian and Jampani, Varun and Cao, Yan-Pei},
journal={arXiv preprint arXiv:2403.02151},
year={2024}
}