米开朗基罗

基于形状-图像-文本对齐潜在表示的条件3D形状生成

赵子博, 刘文, 陈鑫, 曾宪方, 王睿, 程佩, 傅彬, 陈涛, 余刚, 高盛华

Hugging Face演示 | 项目页面 | Arxiv | 论文

https://github.com/NeuralCarver/Michelangelo/assets/37449470/123bae2c-fbb1-4d63-bd13-0e300a550868

我们框架生成的3D形状的可视化，分为三组：左侧是条件输入，中间是法线贴图，右侧是三角网格。生成的3D形状在语义上符合视觉或文本条件输入。

🔆 特点

米开朗基罗具有三种能力：

1. 将形状表示为形状-图像-文本对齐空间；
2. 基于图像条件的形状生成；
3. 基于文本条件的形状生成。

📰 新闻

• [2024/1/23] 设置了Hugging Face演示并发布代码
• [2023/09/22] 米开朗基罗被NeurIPS 2023接收！
• [2023/6/29] 上传论文并初始化项目

⚙️ 设置

安装

按照以下命令安装环境。我们已在Tesla V100和Tesla T4上测试了安装包。

git clone https://github.com/NeuralCarver/Michelangelo.git
cd Michelangelo
conda create --name Michelangelo python=3.9
conda activate Michelangelo 
pip install -r requirements.txt

检查点

请从Hugging Face模型空间下载权重并将其放在根文件夹中。我们还上传了与CLIP相关的权重以方便快速使用。

export LD_LIBRARY_PATH=/usr/lib/wsl/lib:$LD_LIBRARY_PATH.

⚡ 快速开始

推理

重建3D形状

./scripts/inference/reconstruction.sh

基于图像条件的形状生成

./scripts/inference/image2mesh.sh

基于文本条件的形状生成

./scripts/inference/text2mesh.sh

简单运行所有脚本

./scripts/infer.sh

❓ 常见问题

引用

如果您发现我们的代码或论文有帮助，请考虑引用：

@inproceedings{
zhao2023michelangelo,
title={Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation},
author={Zibo Zhao and Wen Liu and Xin Chen and Xianfang Zeng and Rui Wang and Pei Cheng and BIN FU and Tao Chen and Gang YU and Shenghua Gao},
booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
year={2023},
url={https://openreview.net/forum?id=xmxgMij3LY}
}

许可证

本代码在GPL-3.0许可证下分发。