ImageDream重建
Peng Wang, Yichun Shi
安装
此部分与原始MVDream-threestudio相同。如果您已经安装了环境,可以跳过此步骤。
快速开始
在./extern/ImageDream/release_models/
下克隆Huggingface ImageDream模型页面上的模型卡。
在论文中,我们使用带软着色的配置。在大多数情况下,需要A100 GPU来计算法线:
export PYTHONPATH=$PYTHONPATH:./extern/ImageDream
image_file="./extern/ImageDream/assets/astronaut.png"
ckpt_file="./extern/ImageDream/release_models/ImageDream/sd-v2.1-base-4view-ipmv.pt"
cfg_file="./extern/ImageDream/imagedream/configs/sd_v2_base_ipmv.yaml"
python3 launch.py \
--config configs/$method.yaml --train --gpu 0 \
name="imagedream-sd21-shading" tag="astronaut" \
system.prompt_processor.prompt="一名宇航员骑马" \
system.prompt_processor.image_path="${image_file}" \
system.guidance.ckpt_path="${ckpt_file}" \
system.guidance.config_path="${cfg_file}"
仅用于扩散模型,请参考子目录 ./extern/ImageDream/
查看 ./threestudio/scripts/run_imagedream.sh
获取bash示例。
致谢
- 本代码是从threestudio和MVDreamfork而来,用于SDS和3D生成。
提示
- 将物体放在中心,不要在图像中使其过大或过小。
- 如果您有一个物体切割图像边缘,在配置中,调整仰角和视场角的参数范围为更大范围,例如
[0, 30]
,否则,您可能需要进行图像外推并遵循提示1。 - 在3D渲染中使用之前,先用ImageDream扩散模型检查结果,以节省时间。
预计算结果
- 由于扩散模型存在一些随机性,且获取基准结果耗时较长,我们将论文中表1的预计算结果放在了hugging face数据集卡片中,以便复现。
引用
如果您发现ImageDream有帮助,请考虑引用:
@article{wang2023imagedream,
title={ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation},
author={Wang, Peng and Shi, Yichun},
journal={arXiv preprint arXiv:2312.02201},
year={2023}
}