ICON: 从法线中获取隐式穿衣人体
Yuliang Xiu · Jinlong Yang · Dimitrios Tzionas · Michael J. Black
CVPR 2022
新闻 :triangular_flag_on_post:
- [2022/12/15] ICON 属于过去,ECON 是未来!
- [2022/09/12] 在 ICON 上应用 KeypointNeRF,在 评估 中查看定量数据
- [2022/07/30] 都已提供
- [2022/07/26] 新的衣服精炼模块发布,试试
-loop_cloth
- [2022/06/13] ETH 苏黎世理工学院的 3DV 课程学生为 服装提取 创建了一个附加组件
- [2022/05/16] BEV 支持作为可选 HPS,由 Yu Sun 提供,详见 commit #060e265
- [2022/05/15] 训练代码发布,请查看 训练说明
- [2022/04/26] HybrIK (SMPL) 支持作为可选 HPS,由 Jiefeng Li 提供,详见 commit #3663704
- [2022/03/05] PIXIE (SMPL-X), PARE (SMPL), PyMAF (SMPL) 均支持作为可选 HPS
谁需要 ICON?
-
如果你想在PIFu / PaMIR / ICON 上使用自己的数据进行训练和评估,请查看 dataset.md 以准备数据集,training.md 进行训练,以及 evaluation.md 进行基准评估。
-
给定一个原始 RGB 图像,你会得到:
- 图像 (png):
- 分割的人体 RGB
- 身体和衣服的法线图
- 像素对齐的法线-RGB 重叠
- 网格 (obj):
- 来自 PyMAF, PIXIE, PARE, HybrIK, BEV 的 SMPL-(X) 身体
- 3D 穿衣人体重建
- 3D 衣服(需要 2D 蒙版)
- 视频 (mp4):
- 自转的穿衣人体
- 图像 (png):
ICON 的中间结果 |
ICON 的 SMPL 姿态精炼 |
图像 -- 重叠的法线预测 -- ICON -- 精炼的 ICON |
使用 2D 蒙版从 ICON 提取的 3D 衣服 |
使用说明
- 请参阅 docs/installation.md 以安装所有所需的包并设置模型
- 请参阅 docs/dataset.md 以从 THuman2.0 合成训练/验证/测试数据集
- 请参阅 docs/training.md 以使用 THuman2.0 训练您自己的模型
- 请参阅 docs/evaluation.md 以在 CAPE 测试集上进行已训练模型的基准测试
- 附加功能:从时尚图片中提取服装,由苏黎世联邦理工学院的学生作为 3DV 课程项目支持。
运行演示
cd ICON
# 模型类型:
# "pifu" 重新实现的 PIFu
# "pamir" 重新实现的 PaMIR
# "icon-filter" ICON 带有全局编码器(连续的局部皱纹)
# "icon-nofilter" ICON 不带全局编码器(修正全局姿势)
# "icon-keypoint" ICON 带有相对空间编码(来自 KeypointNeRF 的见解)
python -m apps.infer -cfg ./configs/icon-filter.yaml -gpu 0 -in_dir ./examples -out_dir ./results -export_video -loop_smpl 100 -loop_cloth 200 -hps_type pixie
更多定性结果
与其他最先进方法的对比 |
在具有极端姿势的自然图片中预测的法线 |
引用
@inproceedings{xiu2022icon,
title = {{ICON}: {I}mplicit {C}lothed humans {O}btained from {N}ormals},
author = {Xiu, Yuliang and Yang, Jinlong and Tzionas, Dimitrios and Black, Michael J.},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2022},
pages = {13296-13306}
}
致谢
我们感谢 Yao Feng, Soubhik Sanyal, Qianli Ma, Xu Chen, Hongwei Yi, Chun-Hao Paul Huang, 和 Weiyang Liu 对我们的反馈和讨论,Tsvetelina Alexiadis 对 AMT 感知研究的帮助,Taylor McConnell 为其配音,Benjamin Pellkofer 对网页的帮助,以及 Yuanlu Xu 在与 ARCH 和 ARCH++ 对比中的帮助。
特别感谢 Vassilis Choutas 分享 bvh-distance-queries 的代码。
以下是一些我们受益匪浅的优秀资源:
- MonoPortDataset 用于数据处理
- PaMIR, PIFu, PIFuHD, 和 MonoPort 用于基准测试
- SCANimate 和 AIST++ 用于动画
- rembg 用于人体分割
- PyTorch-NICP 用于基于法线的非刚性细化
- smplx, PARE, PyMAF, PIXIE, BEV, 和 HybrIK 用于人体姿态与形状估计
- CAPE 和 THuman 用于数据集
- PyTorch3D 用于差分渲染
某些定性示例中使用的图片来自 pinterest.com。
本项目已获得欧盟“地平线2020”研究与创新计划的资助,项目编号:860768 (CLIPE 项目)。
贡献者
向我们所有出色的贡献者致敬!ICON 通过开源蓬勃发展。秉持这种精神,我们欢迎社区的各种贡献。
贡献者头像是随机排列的。
许可证
此代码和模型可用于非商业性科学研究用途,具体定义请参阅 LICENSE 文件。通过下载和使用该代码和模型,您即同意 LICENSE 中的条款。
披露
MJB 已从 Adobe、Intel、Nvidia、Meta/Facebook 和 Amazon 收到研究礼金。MJB 在 Amazon、Datagen Technologies 和 Meshcapade GmbH 拥有经济利益。在该项目期间,MJB 是 Amazon 的兼职员工,但他的研究仅在马克斯·普朗克协会进行,并且仅由该协会资助。
联系方式
如有更多问题,请联系 icon@tue.mpg.de
如需商业许可,请联系 ps-licensing@tue.mpg.de