MotionBERT：学习人体运动表示的统一视角

这是论文《MotionBERT：学习人体运动表示的统一视角》（ICCV 2023）的官方 PyTorch 实现。

安装

conda create -n motionbert python=3.7 anaconda
conda activate motionbert
# 请根据您的 CUDA 版本安装 PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
pip install -r requirements.txt

开始使用

应用

野外推理（用于自定义视频）

请参考 docs/inference.md。

使用 MotionBERT 进行以人为中心的视频表示

'''	    
  x: 2D 骨架 
    类型 = <class 'torch.Tensor'>
    形状 = [批量大小 * 帧数 * 关节点数(17) * 通道数(3)]
    
  MotionBERT: 预训练的人体运动编码器
    类型 = <class 'lib.model.DSTformer.DSTformer'>
    
  E: 编码后的运动表示
    类型 = <class 'torch.Tensor'>
    形状 = [批量大小 * 帧数 * 关节点数(17) * 通道数(512)]
'''
E = MotionBERT.get_representation(x)

提示

1. 该模型可以处理不同的输入长度（不超过243帧）。无需在其他地方显式指定输入长度。
2. 该模型使用17个身体关键点（H36M 格式）。如果您使用其他格式，请在输入 MotionBERT 之前进行转换。
3. 请参考 model_action.py 和 model_mesh.py 了解如何（轻松地）将 MotionBERT 适配到不同的下游任务。
4. 对于 RGB 视频，您需要提取 2D 姿态（inference.md），转换关键点格式（dataset_wild.py），然后输入 MotionBERT（infer_wild.py）。

模型库

在大多数使用场景中（特别是在微调时），MotionBERT-Lite 能够以较低的计算开销提供相似的性能。

待办事项

• 预训练的脚本和文档
• 自定义视频的演示

引用

如果您发现我们的工作对您的项目有用，请考虑引用以下论文：

@inproceedings{motionbert2022,
  title     =   {MotionBERT: A Unified Perspective on Learning Human Motion Representations}, 
  author    =   {Zhu, Wentao and Ma, Xiaoxuan and Liu, Zhaoyang and Liu, Libin and Wu, Wayne and Wang, Yizhou},
  booktitle =   {Proceedings of the IEEE/CVF International Conference on Computer Vision},
  year      =   {2023},
}