SIFU:基于侧视图条件的隐式函数用于实用真实世界穿衣人体重建
:open_book: 更多视觉结果,请查看我们的项目页面
本仓库将包含 SIFU 的官方实现。
新闻
- [2024/6/18] 由于签证检查问题,作者无法亲自到会议中心。对此我们深感抱歉[悲伤][哭泣]。
- [2024/4/5] 我们的论文被评为亮点论文(获接收论文的前11.9%)!
- [2024/2/28] 我们发布了几何重建的代码,包括测试和推理。
- [2024/2/27] SIFU被CVPR 2024接收!西雅图见!
- [2023/12/13] 我们在arXiv上发布了论文。
- [2023/12/10] 我们建立了项目页面。
安装
- Ubuntu 20 / 18
- CUDA=11.6 或 11.7 或 11.8, GPU内存 > 16GB
- Python = 3.8
- PyTorch = 1.13.0 (官方 入门指南)
我们感谢@levnikolaevich和@GuangtaoLyu提供的宝贵安装建议。
如果你没有conda或miniconda,请先安装:
sudo apt-get update && \
sudo apt-get upgrade -y && \
sudo apt-get install unzip libeigen3-dev ffmpeg build-essential nvidia-cuda-toolkit
mkdir -p ~/miniconda3 && \
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh && \
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 && \
rm -rf ~/miniconda3/miniconda.sh && \
~/miniconda3/bin/conda init bash && \
~/miniconda3/bin/conda init zsh
# 关闭并重新打开shell
git clone https://github.com/River-Zhang/SIFU.git
sudo apt-get install libeigen3-dev ffmpeg
cd SIFU
conda env create -f environment.yaml
conda activate sifu
pip install -r requirements.txt
请下载检查点(谷歌云盘)并将其放置在./data/ckpt
请按照ICON的说明下载额外数据,如HPS和SMPL(使用fetch_hps.sh
和fetch_data.sh
)。可能会缺少关于SMPL的文件,你可以从这里下载并将它们放在/data/smpl_related/smpl_data/。
推理
python -m apps.infer -cfg ./configs/sifu.yaml -gpu 0 -in_dir ./examples -out_dir ./results -loop_smpl 100 -loop_cloth 200 -hps_type pixie
测试
# 1. 在 http://icon.is.tue.mpg.de/ 或 https://cape.is.tue.mpg.de/ 注册
# 2. 下载CAPE测试集
bash fetch_cape.sh
# 评估
python -m apps.train -cfg ./configs/train/sifu.yaml -test
# 提示:apps/train中默认的"mcube_res"为256。
SIFU的应用
场景构建
3D打印
纹理编辑
动画
真实场景重建
引用
如果这项工作对您的研究有帮助,请考虑引用以下BibTeX条目。
@InProceedings{Zhang_2024_CVPR,
author = {Zhang, Zechuan and Yang, Zongxin and Yang, Yi},
title = {SIFU: Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2024},
pages = {9936-9947}
}