Project Icon

flame

基于自然语言的3D人体动作生成与编辑框架

FLAME是一个开源的3D人体动作生成和编辑框架,能够根据自然语言描述合成和修改动作。该项目利用深度学习技术将文本转换为人体动作,适用于动画制作、游戏开发等领域。FLAME支持多样化的动作生成和精确编辑,为研究人员和开发者提供了灵活的工具。

FLAME: 基于自由形式语言的动作合成与编辑

[项目页面] | [论文] | [视频]

《FLAME: 基于自由形式语言的动作合成与编辑》(AAAI'23)论文的官方实现

生成样本

环境

本项目在以下环境中测试通过。请在您的运行环境中安装它们。

前提条件

软件包

您可能需要以下软件包来运行此仓库。

apt install libboost-dev libglfw3-dev libgles2-mesa-dev freeglut3-dev libosmesa6-dev libgl1-mesa-glx 

数据集

:exclamation: 为遵守许可协议,我们不能直接提供原始数据文件。

AMASS 数据集

访问 https://amass.is.tue.mpg.de/ 下载 AMASS 数据集。我们使用了 AMASS 中以下数据集的 SMPL+H G

  • ACCAD
  • BMLhandball
  • BMLmovi
  • BMLrub
  • CMU
  • DanceDB
  • DFaust
  • EKUT
  • EyesJapanDataset
  • HDM05
  • Human4D
  • HumanEva
  • KIT
  • Mosh
  • PosePrior
  • SFU
  • SSM
  • TCDHands
  • TotalCapture
  • Transitions

下载的数据以 bz2 格式压缩。所有下载的文件需要放在 data/amass_download_smplhg 目录下。

BABEL

访问 https://babel.is.tue.mpg.de/ 下载 BABEL 数据集。在实验时,我们使用了 babel_v1.0_release。 BABEL 数据集应位于 data/babel_v1.0_release 目录下。data/babel_v1.0_release 下的文件结构如下:

.
├── extra_train.json
├── extra_val.json
├── test.json
├── train.json
└── val.json
HumanML3D

您可以在 HumanML3D 获取完整的 HumanML3D 数据集。但是,我们使用了原始的 AMASS SMPL 数据,而不是自定义的骨骼。运行此仓库需要准备的内容如下:

./data/HumanML3D/
├── humanact12
├── HumanML3D.csv
├── test.txt
├── texts.zip
├── train.txt
└── val.txt

请注意,上述文件位于:data/HumanML3D/。请下载 humanact12HumanML3D.csv。您可以从原始仓库下载其他文件。

SMPL 和 DMPL 模型

您可能需要 SMPL 和 DMPL 来预处理动作数据。请参考 AMASS 获取这些模型。smpl_modeldmpl_model 应位于项目根目录中。

SMPL
smpl_model/
├── female
│   └── model.npz
├── info.txt
├── LICENSE.txt
├── male
│   └── model.npz
└── neutral
    └── model.npz
DMPL
dmpl_model/
├── female
│   └── model.npz
├── LICENSE.txt
├── male
│   └── model.npz
└── neutral
    └── model.npz

外部源

为了可视化,您可能需要以下软件包。

安装

  1. 创建虚拟环境并激活。
conda create -n flame python=3.8
conda activate flame
  1. 安装所需包。建议先安装相应版本的PyTorch和PyTorch3D。
pip install "git+https://github.com/facebookresearch/pytorch3d.git@stable"  # PyTorch3D
  1. 按照安装指南安装VPoserPyOpenGL及PyOpenGL_Accelerate

  2. 安装其他所需包。

pip install -r requirements.txt

预处理

  1. 预处理AMASS数据集。
./scripts/unzip_dataset.sh

这将把下载的AMASS数据解压到data/amass_smplhg。你也可以手动解压数据。

  1. 准备HumanML3D数据集。
python scripts/prepare_humanml3d.py
  1. 准备BABEL数据集。
python scripts/prepare_babel_dataset.py

训练

你可以通过运行以下命令来训练自己的模型。 训练配置可以通过configs/中的配置文件或命令行参数(hydra格式)设置。

python train.py

测试

测试需要很长时间,因为它需要生成测试集中的所有样本。 你需要使用configs/test.yaml中的适当配置设置运行test.py。然后,你可以运行eval_util.py来评估结果。

采样

文本到动作生成

configs/t2m_sample.yaml中设置你的采样配置。采样结果将保存在outputs/中。你可以导出json输出以在Unity引擎中可视化。导出的json包括根关节的位置和所有其他关节的四元数格式旋转。

python t2m_sample.py

文本到动作编辑

configs/edit_motion.yaml中设置你的文本到动作编辑配置。你可以选择要编辑的动作、编辑关节和文本提示。采样结果将保存在outputs/中。

python edit_motion.py
关节索引
  • 00: 骨盆
  • 01: 左髋
  • 02: 右髋
  • 03: 脊柱1
  • 04: 左膝
  • 05: 右膝
  • 06: 脊柱2
  • 07: 左踝
  • 08: 右踝
  • 09: 脊柱3
  • 10: 左脚
  • 11: 右脚
  • 12: 颈部
  • 13: 左锁骨
  • 14: 右锁骨
  • 15: 头部
  • 16: 左肩
  • 17: 右肩
  • 18: 左肘
  • 19: 右肘
  • 20: 左腕
  • 21: 右腕
  • 22: 左手
  • 23: 右手

预训练权重

HumanML3D

BABEL

引用

@article{kim2022flame,
  title={Flame: Free-form language-based motion synthesis \& editing},
  author={Kim, Jihoon and Kim, Jiseob and Choi, Sungjoon},
  journal={arXiv preprint arXiv:2209.00349},
  year={2022}
}

许可证

版权所有 (c) 2022 高丽大学和Kakao Brain公司。保留所有权利。根据Apache许可证2.0版授权。(详见LICENSE

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号