OmniControl: 任意时间控制任意关节以生成人体动作

项目主页 | 论文

OmniControl: 任意时间控制任意关节以生成人体动作
谢一鸣、Varun Jampani、钟磊、孙德庆、姜怀祖

引用

@inproceedings{
xie2024omnicontrol,
title={OmniControl: 任意时间控制任意关节以生成人体动作},
author={谢一鸣 and Varun Jampani and 钟磊 and 孙德庆 and 姜怀祖},
booktitle={第十二届国际表示学习会议},
year={2024},
url={https://openreview.net/forum?id=gd0lAEtWso}
}

新闻

📢 2023年12月10日 - 首次发布

待办事项

训练和推理代码。
HumanML3D上的预训练模型。
评估代码和指标。
使用不同训练策略的预训练模型。
关节交叉组合的评估。
KIT-ML上的预训练模型。

开始使用

本代码需要：

Python 3.7
conda3 或 miniconda3
支持CUDA的GPU（一个就够了）

1. 环境设置

安装ffmpeg（如果尚未安装）：

sudo apt update
sudo apt install ffmpeg

Windows用户请使用这个方法。

设置conda环境：

conda env create -f environment.yml
conda activate omnicontrol
python -m spacy download en_core_web_sm
pip install git+https://github.com/openai/CLIP.git

下载依赖项：

bash prepare/download_smpl_files.sh
bash prepare/download_glove.sh
bash prepare/download_t2m_evaluators.sh

2. 获取数据

完整数据（文本 + 动作捕捉）

HumanML3D - 按照HumanML3D中的说明操作，然后将结果数据集复制到我们的仓库：

cp -r ../HumanML3D/HumanML3D ./dataset/HumanML3D

KIT - 从HumanML3D下载（这次不需要处理），并将结果放在./dataset/KIT-ML中

3. 下载预训练模型

下载你想使用的模型，然后解压并放在./save/中。

HumanML3D

model_humanml

cd save
gdown --id 1oTkBtArc3xjqkYD6Id7LksrTOn3e1Zud
unzip omnicontrol_ckpt.zip -d .
cd ..

动作合成

使用手动定义的空间控制信号和文本生成

在text_control_example中查看手动定义的空间控制信号。你可以按照这个文件定义自己的输入。

python -m sample.generate --model_path ./save/omnicontrol_ckpt/model_humanml3d.pt --num_repetitions 1

使用从HumanML3D数据集采样的空间控制信号和文本生成

我们从HumanML3D数据集的真实动作中随机采样空间控制信号。

python -m sample.generate --model_path ./save/omnicontrol_ckpt/model_humanml3d.pt --num_repetitions 1 --text_prompt ''

你也可以定义：

--device id。
--seed 用于采样不同的提示。
--motion_length（仅限文本到动作）以秒为单位（最大为9.8[秒]）。

运行这些命令将得到：

results.npy 文件，包含文本提示和生成动画的xyz位置
sample##_rep##.mp4 - 每个生成动作的棍状人物动画。

它看起来会像这样：

你可以到此为止，或者使用以下脚本渲染SMPL网格。

渲染SMPL网格

这部分直接借鉴自MDM。要为每一帧创建SMPL网格，请运行：

python -m visualize.render_mesh --input_path /path/to/mp4/stick/figure/file

此脚本输出：

sample##_rep##_smpl_params.npy - SMPL参数（旋转角度、根部平移、顶点和面）
sample##_rep##_obj - 每帧的网格，以.obj格式。

注意：

.obj文件可以集成到Blender/Maya/3DS-MAX中并使用它们进行渲染。
此脚本运行SMPLify，也需要GPU（可以用--device标志指定）。
重要 - 在运行脚本之前不要更改原始.mp4路径。

3D制作者注意事项：

你有两种方式来动画化序列：
1. 使用SMPL插件和保存在sample##_rep##_smpl_params.npy中的旋转角度参数（我们总是使用beta=0和性别中性模型）。
2. 一个更直接的方法是使用网格数据本身。所有网格都有相同的拓扑结构（SMPL），所以你只需要为顶点位置设置关键帧。由于OBJ文件不保留顶点顺序，为了方便起见，我们也将这些数据保存在sample##_rep##_smpl_params.npy文件中。

训练你自己的OmniControl

HumanML3D
下载预训练的MDM模型。该模型来自MDM。然后将其放在./save/目录下。或者你可以通过以下命令下载预训练模型：

cd save
gdown --id 1XS_kp1JszAxgZBq9SL8Y5JscVVqJ2c7H
cd ..

你可以通过以下命令训练自己的模型：

python -m train.train_mdm --save_dir save/my_omnicontrol --dataset humanml --num_steps 400000 --batch_size 64 --resume_checkpoint ./save/model000475000.pt --lr 1e-5

评估

HumanML3D

大约需要45小时（在单个GPU上）。你可以使用多个GPU并行评估每个设置来加速这个过程。
预训练模型的此脚本输出在检查点文件中提供。

./eval_omnicontrol_all.sh ./save/omnicontrol_ckpt/model_humanml3d.pt

或者你可以单独评估每个设置，例如，根关节（0）和密集空间控制信号（100）。这大约需要1.5小时。

./eval_omnicontrol.sh ./save/omnicontrol_ckpt/model_humanml3d.pt 0 100

OmniControl主模块的代码指针

空间引导。(./diffusion/gaussian_diffusion.py#L450)
真实性引导。(./model/cmdm.py#L158)

致谢

我们的代码基于MDM。
运动可视化基于MLD和TMOS。我们还感谢以下工作： guided-diffusion、MotionCLIP、text-to-motion、actor、joints2smpl、MoDi。

许可证

本代码在MIT许可证下分发。
请注意，我们的代码依赖于其他库，包括CLIP、SMPL、SMPL-X、PyTorch3D，并使用了各自具有不同许可证的数据集，这些许可证也必须遵守。