ROMP

ROMP	BEV	TRACE
单目、单阶段、多人3D姿态回归（ICCV21）	将人物置于正确位置：单目3D人物深度回归（CVPR2022）	TRACE：动态相机3D环境下的5D时序头像回归（CVPR2023）
ROMP是一种单阶段方法，用于实时单目多人3D网格恢复。	BEV进一步探索多人深度关系并支持所有年龄段。	TRACE进一步跟踪特定对象并在动态相机下恢复其全局3D轨迹。
[论文] [视频]	[项目主页] [论文] [视频]	[项目主页] [论文] [视频]
	[相对人体数据集]	[动态相机数据集]

我们提供跨平台API（通过pip安装），可在Linux / Windows / Mac上运行ROMP和BEV。

新闻

2023/06/17: 发布TRACE的代码。请参考此说明进行推理。
2022/06/21: 发布BEV的训练和评估代码。请更新模型数据。
2022/05/16: 发布simple-romp v1.0，支持跟踪、在Python中调用、导出bvh等功能。
2022/04/14: 在simple-romp v0.1.0中发布BEV的推理代码。
2022/04/10: 增加onnx支持，在CPU/GPU上推理速度更快。
旧日志

入门

请使用simple-romp进行推理，其余代码仅用于训练。

如何使用

ROMP & BEV

对于推理和导出（fbx/glb/bvh），请参考此指南。

对于训练，请参考installation.md进行完整安装，dataset.md准备数据，train.md进行训练。

对于基准评估，请参考romp_evaluation和bev_evaluation。

TRACE

对于推理，请参考此说明。

对于基准评估，请参考trace_evaluation。

对于训练，请参考trace_train。

扩展

[Blender插件]: Yan Chuanhang创建了一个Blender插件，可以使用ROMP从图像、视频或网络摄像头输入驱动Blender中的3D角色。

[VMC协议]: Vivien Richter为ROMP实现了VMC（虚拟动作捕捉）协议支持，适用于不同的动作捕捉解决方案。

Docker使用

请参考docker.md

问题报告

欢迎提交问题报告。

贡献者

本仓库由Yu Sun维护。

ROMP也得益于许多开发者的贡献，包括：

Peng Cheng：对中心图训练进行建设性讨论。
Marco Musy：在纹理SMPL可视化方面提供帮助。
Gavin Gray：添加支持在笔记本中运行代码的优雅上下文管理器。
VLT Media和Vivien Richter：添加在Windows上运行和batch_videos.py的支持。
Chuanhang Yan：开发Blender中驱动角色的插件。
Tian Jin：在简化SMPL和快速渲染方面提供帮助（realrender）。
ZhengdiYu：对优化实现细节进行有益讨论。
Ali Yaghoubian：为simple-romp添加Docker文件。

引用

@InProceedings{TRACE,
    author = {Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J.},
    title = {{TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments}}, 
    booktitle = {CVPR}, 
    year = {2023}}
@InProceedings{BEV,
    author = {Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J},
    title = {{Putting People in their Place: Monocular Regression of 3D People in Depth}},
    booktitle = {CVPR},
    year = {2022}}
@InProceedings{ROMP,
    author = {Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao},
    title = {{Monocular, One-stage, Regression of Multiple 3D People}},
    booktitle = {ICCV},
    year = {2021}}