Multi-HMR：单次拍摄实现多人全身人体网格恢复

Fabien Baradel*, Matthieu Armando, Salma Galaaoui, Romain Brégier,
Philippe Weinzaepfel, Grégory Rogez, Thomas Lucas*

ECCV'24

^* 贡献相同

Multi-HMR 是一个简单而有效的单次拍摄模型，用于多人和富有表现力的人体网格恢复。 它以单个 RGB 图像作为输入，并在相机空间中高效地执行多个人的 3D 重建。

新闻

• 2024/07/03：发布训练-评估代码。
• 2024/07/01：Multi-HMR 被 ECCV'24 接收。
• 2024/06/17：Multi-HMR 赢得 Robin Challenge @CVPR'24：3D 人体重建赛道。
• 2024/02/22：发布演示代码。

安装

首先，你需要克隆仓库。

我们建议使用虚拟环境来运行 MultiHMR。 请运行以下命令使用 venv 创建环境：

python3.9 -m venv .multihmr
source .multihmr/bin/activate
pip install -r requirements.txt

或者你也可以创建一个 conda 环境。

conda env create -f conda.yaml
conda activate multihmr

安装已在 python3.9 和 CUDA 12.1 上测试通过。

首次运行演示代码时，检查点将自动下载到 $HOME/models/multiHMR。

除了这些文件外，你还需要下载 SMPLX 模型。 你需要中性模型来运行演示代码。 请访问相应网站并注册以获取下载区的访问权限。 下载模型并将 SMPLX_NEUTRAL.npz 放置在 ./models/smplx/ 中。

在图像上运行 Multi-HMR

以下命令将在指定的 --img_folder 中的所有图像上运行 Multi-HMR，并将重建的渲染结果保存在 --out_folder 中。 --model_name 标志指定要使用的模型。 --extra_views 标志额外渲染重建场景的侧视图和俯视图，--save_mesh 将网格保存为 '.npy' 文件。

python3.9 demo.py \
    --img_folder example_data \
    --out_folder demo_out \
    --extra_views 1 \
    --model_name multiHMR_896_L

预训练模型

我们提供多个预训练检查点。 以下是它们相关特性的列表。 下载后，你需要将它们放置到 $HOME/models/multiHMR 中。

我们在 GPU V100-32GB 上计算运行时间。

训练 Multi-HMR

我们提供了使用单个 GPU 在 BEDLAM-training 上训练 Multi-HMR 并在 BEDLAM-validation、EHF 和 3DPW-test 上评估的代码。

激活环境

source .multihmr/bin/activate
export PYTHONPATH=`pwd`

预处理BEDLAM数据集

首先，您需要下载BEDLAM数据集(6fps版本)并将文件放入data/BEDLAM目录中。 目录结构应如下所示:

data/BEDLAM
      |
      |---validation
                  |
                  |---20221018_1_250_batch01hand_zoom_suburb_b_6fps
                                                              |
                                                              |---png
                                                                  |
                                                                  |---seq_000000
                                                                              |
                                                                              |---seq_000000_0000.png
                                                                              ...
                                                                              |---seq_000000_0235.png
                                                                  ...
                                                                  |---seq_000249
                  ...
                  |---20221019_3-8_250_highbmihand_orbit_stadium_6fps
      |---training
              |
              |---20221010_3_1000_batch01hand_6fps
              ...
              |---20221024_3-10_100_batch01handhair_static_highSchoolGym_30fps
      |---all_npz_12_training
              |
              |---20221010_3_1000_batch01hand_6fps.npz
              ...
              |---20221024_3-10_100_batch01handhair_static_highSchoolGym_30fps.npz
      |---all_npz_12_validation
            |
            |---20221018_1_250_batch01hand_zoom_suburb_b_6fps.npz
            ...
            |---20221019_3-8_250_highbmihand_orbit_stadium_6fps.npz

我们需要为训练集和验证集构建注释文件。根据您的CPU性能，构建pkl文件可能需要20分钟左右。

python3.9 datasets/bedlam.py "create_annots(['validation', 'training'])"

您将得到两个文件data/bedlam_validation.pkl和data/bedlam_training.pkl。

检查注释

可视化特定图像的注释。

python3.9 datasets/bedlam.py "visualize(split='validation', i=1500)"

这将创建一个文件bedlam_validation_15000.jpg，您可以在左侧看到RGB图像，右侧看到叠加网格的RGB图像。

(可选) 创建jpg文件以加快数据加载

BEDLAM由PNG文件组成，根据您的基础设施，加载它们可能会有点慢。 以下命令将为每个png文件生成一个最大分辨率为1280的jpg文件。 由于BEDLAM有超过30万张图像，这可能需要一段时间。您可以在特定子目录上运行命令行来加速jpg文件的生成。您可以选择自己想要的目标大小。

# 可能会很慢
python3.9 datasets/bedlam.py "create_jpeg(root_dir='data/BEDLAM', target_size=1280)

# 或者并行处理
python3.9 datasets/bedlam.py "create_jpeg(root_dir='data/BEDLAM/validation/20221019_3-8_250_highbmihand_orbit_stadium_6fps', target_size=1280)
...
python3.9 datasets/bedlam.py "create_jpeg(root_dir='data/BEDLAM/training/20221010_3-10_500_batch01hand_zoom_suburb_d_6fps', target_size=1280)

检查数据加载时间

您可以通过运行上述命令来检查数据加载器的质量。它将使用BEDLAM的png版本。

python3.9 datasets/bedlam.py "dataloader(split='validation', batch_size=16, num_workers=4, extension='png', img_size=1280, n_iter=100)"

预处理其他验证集

我们还提供了在EHF和3DPW上评估的代码。 运行以下命令为EHF构建注释文件。

python3.9 datasets/ehf.py "create_annots()"
python3.9 datasets/ehf.py "visualize(i=10)"

对于3DPW，请下载SMPL-male和SMPL-female模型，将它们放入models/smpl/SMPL_MALE.pkl和models/smpl/SMPL_FEMALE.pkl。另外，smplx2smpl.pkl对于从SMPLX转移到SMPL是必需的。

python3.9 datasets/threedpw.py "create_annots()"
python3.9 datasets/threedpw.py "visualize(i=1011)"

在BEDLAM-train上训练

我们提供了在单个GPU上以336分辨率在BEDLAM-train上训练的命令。

# python命令
CUDA_VISIBLE_DEVICES=1 python3.9 train.py \
--backbone dinov2_vits14 \
--img_size 336 \
-j 4 \
--batch_size 32 \
-iter 10000 \
--max_iter 500000 \
--name multi-hmr_s_336

要减少数据加载时间，请使用--extension jpg --res 1280

评估BEDLAM-val / EHF-test / 3DPW-test

以下命令用于在验证集上评估预训练的检查点。

CUDA_VISIBLE_DEVICES=0 python3.9 train.py \
--eval_only 1 \
--backbone dinov2_vitl14 \
--img_size 896 \
--val_data EHF THREEDPW BEDLAM \
--val_split test test validation \
--val_subsample 1 20 25 \
--pretrained models/multiHMR/multiHMR_896_L.pt

检查日志或打开tensorboard以查看结果。

许可证

代码在CC BY-NC-SA 4.0许可下分发。 更多信息请参见Multi-HMR许可证、检查点许可证和示例数据许可证。

引用

如果您发现这段代码对您的研究有用，请考虑引用以下论文：

@inproceedings{multi-hmr2024,
    title={Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot},
    author={Baradel*, Fabien and 
            Armando, Matthieu and 
            Galaaoui, Salma and 
            Br{\'e}gier, Romain and 
            Weinzaepfel, Philippe and 
            Rogez, Gr{\'e}gory and
            Lucas*, Thomas
            },
    booktitle={ECCV},
    year={2024}
}