:mega: 更新

[2023年12月] 发布了 ZJU-Mocap_refine 和 MonoCap 的训练和推理代码。

:desktop_computer: 环境要求

本项目需要 NVIDIA GPU。 我们建议使用 anaconda 管理 Python 环境。

    conda create --name gauhuman python=3.8
    conda activate gauhuman
    conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia
    pip install submodules/diff-gaussian-rasterization
    pip install submodules/simple-knn
    pip install --upgrade https://github.com/unlimblue/KNN_CUDA/releases/download/0.2/KNN_CUDA-0.2-py3-none-any.whl
    pip install -r requirement.txt

提示：我们基于官方的 diff-gaussian-rasterization 实现了 alpha mask loss 版本。

设置数据集

请按照 Instant-NVR 的说明下载 ZJU-Mocap-Refine 和 MonoCap 数据集。

下载 SMPL 模型

在此处注册并下载 SMPL 模型。将下载的模型放在 smpl_models 文件夹中。只需要中性模型。文件夹结构应如下所示：

./
├── ...
└── assets/
    ├── SMPL_NEUTRAL.pkl

:train: 训练

ZJU_MoCap_refine 数据集的训练命令

bash run_zju_mocap_refine.sh

MonoCap 数据集的训练命令

bash run_monocap.sh

:running_woman: 评估

ZJU_MoCap_refine 数据集的评估命令

bash eval_zju_mocap_refine.sh

MonoCap 数据集的评估命令

bash eval_monocap.sh

:love_you_gesture: 引用

如果您发现本工作的代码或相关的 ReSynth 数据集对您的研究有帮助，请考虑引用：

@article{hu2023gauhuman,
  title={GauHuman: Articulated Gaussian Splatting from Monocular Human Videos},
  author={Hu, Shoukang and Liu, Ziwei},
  journal={arXiv preprint arXiv:},
  year={2023}
}

:newspaper_roll: 许可证

根据 S-Lab 许可证分发。有关更多信息，请参阅 LICENSE。

:raised_hands: 致谢

本项目基于 Gaussian-Splatting、HumanNeRF 和 Animatable NeRF 共享的源代码构建。