Motion-X: 一个大规模的3D富表现力全身人体运动数据集

本仓库包含以下论文的实现：

Motion-X: 一个大规模的3D富表现力全身人体运动数据集
林静^😎12, 曾爱玲^😎🤗1, 陆顺林^😎13, 蔡元浩², 张瑞茂³, 王浩骞², 张磊^1
😎贡献相同。 ^🤗通讯作者。

¹国际数字经济研究院 ²清华大学 ³香港中文大学（深圳）

🥳 新闻

• [2024.4.25] 我们正在开发Motion-X的新版本，称为Motion-X++。它有以下更新：i) 更多配对模态，包括视频、全身2D关键点、局部和全局全身SMPL-X、文本和音频（如果视频有）；ii) 更好的质量，如手动场景检测以实现时间连贯的视频片段、更稳定的运动注释，以及通过GPT4V和Vicuna改进的语义视频描述和全身姿势描述。我们已发布IDEA400子集，并将在同一目录中发布其他子集。有关数据预处理和加载的详细说明，请参阅此文档。
• [2024.2.6] 我们发布了自录的IDEA400视频和相应的SMPL-X，以支持(a)全身局部或全局姿势估计和(2)运动条件视频生成。请查看邮件。
• [2024.1.9] 我们更新了每个全身姿势的帧级文本描述。请在此处下载，并参考此使用指南。
• [2023.12.22] 我们更新了由Vicuna 1.5增强的序列运动文本描述（text_v1.1），以提高文本的标准化和多样性。请通过此链接下载并替换原始文件motionx_seq_text.zip。非常感谢陈凌浩对文本标签的完善！
• [2023.11.15] 我们在DDS平台上发布了所有子集的SMPL-X渲染可视化，以便快速查看内容。
• [2023.11.15] 我们发布了HumanTOMATO运动表示（tomato表示）和拆分文件。
• [2023.10.26] 我们发布了Motion-X-V1，提供与SMPL-X序列对应的语义文本标签、面部表情运动以及用于增强一些没有面部表情的运动的相应文本。请查看您的邮件！
• [2023.10.26] 我们发布了一个高质量的单目数据集，名为IDEA400，作为Motion-X的子集，包含丰富的表情和手势。查看此视频了解更多详情。

📜 待办事项

• 发布全身姿势描述。
• 收集更多运动数据集（例如，音乐到舞蹈、音频到手势的运动）。
• 在得到视频所有者的同意后发布视频。
• 如果需要运动，发布音频和音乐。

敬请期待！

🥳 亮点运动样本

📊 目录

1. 一般描述
2. 数据集下载
3. 实验
4. 引用

📜 一般描述

我们提出了一个高精度和高效的全身运动及相应文本标签的注释流程。基于此，我们从大量在线视频和八个现有运动数据集构建了一个大规模的3D富表现力全身人体运动数据集。我们将它们统一为相同的格式，提供全身运动（即SMPL-X）和相应的文本标签。

Motion-X的标签：

• 运动标签：包括1560万个全身姿势和8.11万个运动片段注释，以SMPL-X参数表示。所有运动已统一为30帧每秒。
• 文本标签：(1) 1560万个帧级全身姿势描述和(2) 8.11万个序列级语义标签。
• 其他模态：RGB视频、音频和音乐信息。

支持的任务：

• 文本驱动的3D全身人体运动生成
• 3D全身人体网格恢复
• 其他：运动预训练、用于运动理解和生成的多模态预训练模型等。

📥 数据集下载

我们以与原始数据源一致的方式发布Motion-X。以下是操作说明：

1. 请求授权

请填写此表单以申请授权非商业用途的Motion-X。之后您将收到一封邮件，请从提供的下载链接下载动作和文本标签。姿势文本可以从这里下载。请从下载的motionx_pose_text.zip中提取body_texts文件夹和hand_texts文件夹。（注意：我们于2023年10月29日更新了motionx_seq_face_text.zip和motionx_face_motion.zip的百度网盘链接。因此，如果您在10月29日之前通过百度网盘下载了这些压缩包，请填写表单并重新下载。）

请按以下目录结构收集它们：

../datasets  

├──  motion_data
  ├── smplx_322
    ├── idea400
    ├── ...
├──  face_motion_data
  ├── smplx_322
    ├── humanml
    ├── EgoBody
    ├── GRAB
├── texts
  ├──  semantic_labels
    ├── idea400
    ├── ...
  ├──  face_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
  ├──  body_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
  ├──  hand_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...

2. 非动作捕捉子集

对于非动作捕捉子集，请参考此链接获取详细说明，特别注意：

• 我们不分发原始RGB视频。我们提供由我们团队标注的动作和文本标签。
• 由于许可和质量考虑，我们不提供NTU-RGBD120。相反，我们构建了IDEA400，其中包括400个日常动作（覆盖NTU-RGBD120）。请参考这个视频获取详细介绍。

3. 动作捕捉子集

对于动作捕捉数据集（即AMASS、GRAB、EgoBody），请参考此链接获取详细说明，特别注意：

• 我们不分发原始动作数据。
• 我们只提供由我们团队标注的文本标签和面部表情。

AMASS和GRAB数据集由马克斯·普朗克智能系统研究所根据自定义许可发布，用于学术研究。要下载AMASS和GRAB，您必须在数据集网站上注册为用户，并同意每个许可的条款和条件：

https://amass.is.tue.mpg.de/license.html

https://grab.is.tuebingen.mpg.de/license.html

最终，数据集文件夹按以下目录结构收集：

../datasets  

├──  motion_data
  ├── smplx_322
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
├── texts
  ├──  semantic_labels
    ├── idea400
    ├── ...
  ├──  face_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
  ├──  body_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
  ├──  hand_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...

🚀 数据加载

• 要加载动作和文本标签，您可以简单地执行以下操作：

  import numpy as np
  import torch
  
  # 读取动作并保存为smplx表示
  motion = np.load('motion_data/smplx_322/000001.npy')
  motion = torch.tensor(motion).float()
  motion_parms = {
              'root_orient': motion[:, :3],  # 控制全局根方向
              'pose_body': motion[:, 3:3+63],  # 控制身体
              'pose_hand': motion[:, 66:66+90],  # 控制手指关节
              'pose_jaw': motion[:, 66+90:66+93],  # 控制下巴姿势
              'face_expr': motion[:, 159:159+50],  # 控制面部表情
              'face_shape': motion[:, 209:209+100],  # 控制面部形状
              'trans': motion[:, 309:309+3],  # 控制全局身体位置
              'betas': motion[:, 312:],  # 控制身体形状。身体形状是静态的
          }
  
  # 读取文本标签
  semantic_text = np.loadtxt('semantic_labels/000001.npy')     # 语义标签
  

💻 可视化

我们支持从相机空间和世界空间进行可视化，请参考这个指南。

💻 实验

动作标注流程的验证

我们的标注流程显著超越了现有的最先进的2D全身模型和网格恢复方法。

文本驱动的全身人体动作生成基准测试

与HumanML3D在全身人体动作生成任务上的比较

对3D全身人体网格恢复的影响

🤝 引用

如果您发现这个仓库对您的工作有用，请考虑按以下方式引用它：

@article{lin2023motionx,
  title={Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset},
  author={Lin, Jing and Zeng, Ailing and Lu, Shunlin and Cai, Yuanhao and Zhang, Ruimao and Wang, Haoqian and Zhang, Lei},
  journal={Advances in Neural Information Processing Systems},
  year={2023}
}