AvatarPoser

AvatarPoser：基于稀疏运动感知的全身关节姿态追踪（ECCV 2022，官方代码）

Jiaxi Jiang¹，Paul Streli¹，Huajian Qiu¹，Andreas Fender¹，Larissa Laich²，Patrick Snape²，Christian Holz¹

¹ 感知、交互与认知实验室，苏黎世联邦理工学院计算机科学系，瑞士
² Meta实验室，瑞士苏黎世

当今的混合现实头戴式显示器可以在世界空间中追踪用户的头部姿势，并在增强现实和虚拟现实场景中追踪用户的手部以进行交互。虽然这足以支持用户输入，但不幸的是，它将用户的虚拟表示限制在仅上半身。因此，当前系统只能使用浮动头像，这种限制在协作环境中尤为明显。为了从稀疏的输入源估计全身姿势，之前的研究在骨盆或下半身加入了额外的追踪器和传感器，这增加了设置的复杂性，并限制了在移动环境中的实际应用。在本文中，我们提出了AvatarPoser，这是第一个仅使用用户头部和手部运动输入来预测世界坐标系下全身姿势的基于学习的方法。我们的方法基于Transformer编码器从输入信号中提取深层特征，并将全局运动与学习到的局部关节方向解耦，以指导姿势估计。为了获得准确的全身运动，使其类似于动作捕捉动画，我们使用逆运动学优化程序来细化手臂关节的位置，以匹配原始追踪输入。在我们的评估中，AvatarPoser在大型动作捕捉数据集（AMASS）的评估中达到了新的最先进结果。同时，我们方法的推理速度支持实时操作，为元宇宙应用提供了一个实用的接口，支持整体化的头像控制和表示。

数据集

请从AMASS下载数据集BMLrub、CMU和HDM05。
下载所需的人体模型并将其放置在本仓库的support_data/body_models目录中。对于SMPL+H人体模型，请从http://mano.is.tue.mpg.de/下载。请下载带有DMPL混合形状的AMASS版本模型。您可以从http://smpl.is.tue.mpg.de获取动态形状混合形状，例如DMPLs。
（可选）如果您想要新的随机数据分割，请运行generate_split.py。
运行prepare_data.py以预处理输入数据，以加快训练速度。我们论文中使用的训练和测试数据分割存储在data_split文件夹下。

训练

要进行训练，请运行：

python main_train_avatarposer.py -opt options/train_avatarposer.json

测试

要进行测试，请运行：

python main_test_avatarposer.py

预训练模型

点击预训练模型下载我们的AvatarPoser预训练模型，并将其放入model_zoo。

引用

如果您发现我们的论文或代码有用，请引用我们的工作：

@inproceedings{jiang2022avatarposer,
  title={AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing},
  author={Jiang, Jiaxi and Streli, Paul and Qiu, Huajian and Fender, Andreas and Laich, Larissa and Snape, Patrick and Holz, Christian},
  booktitle={Proceedings of European Conference on Computer Vision},
  year={2022},
  organization={Springer}
}