访问官网
Github
论文MocapNET 项目简介
MocapNET 是一项旨在通过单目RGB图像进行 3D 人体姿势估计的实时系统。该项目在 BVH 格式中提供人体姿势估测，其基础于对 2D 关节点的预测。
项目背景及发展
MocapNET 项目自发布以来经历了多个版本的更新与改进：
- MocapNET v4：项目代码完全用 Python 重写，以便更好地服务社区。该版本支持从单目图像中提取 3D 注视点和 BVH 面部配置。
- MocapNET v3：增加了手部姿态估计功能，并在多个重要会议中展示。
- MocapNET v2：提高了姿态估计的精确度，并增加了对遮挡的鲁棒性，同时保持实时性能。具体来说，其在 H3.6M 数据集上的精度提升了 33%。
- MocapNET v1：初始版本实现了基本的 3D 姿态估计。
项目特点
- 高性能和实时性：支持从单目 RGB 图像直接推断 3D 人体姿势，达到每秒 70 帧的速度，并且主要在 CPU 上执行。
- 便捷性：提供了一键 Google Collab 设置，使得快速测试方法变得简单易行。
- 广泛的应用：可用于创建 3D 动画、生成实验用 2D 数据集等。
技术亮点
- 创新的 2D 姿势表示：采用 NSRM 表示来构建更紧凑的模型。
- 人体方向分类器和神经网络组合：通过分解人体为上半身和下半身层次结构，支持在严重遮挡情况下的姿态恢复。
- 逆向运动学求解器：优化神经网络输出，以提供与目标人物肢体比例相一致的 3D 姿态估计。
开发与使用
MocapNET 支持在多种环境和平台上运行，包括 Linux 和 Windows（通过 Linux 子系统）。项目依赖的主要库包括 TensorFlow 和 OpenCV。项目代码和模型均可通过初始化脚本自动下载和配置，使得库的安装和配置过程相对简便。
此外，该项目还提供了对高准确性姿态估计的完整支持，特别是通过使用 OpenPose 生成的 2D JSON 文件来提高预测精度。此外，还支持自行生成用于研究的 BVH 训练数据集。
展望和持续改进
MocapNET 项目由一组活跃的开发者团队维护，并不断通过扩展功能和提高性能来响应学术界和工业界的需求。未来的发展包括进一步提高姿态估计的精确度，对更多的附件和复杂动作的支持，以及引入更多用户友好的特性。
**请引用以下著作来支持您的研究**：
- Qammaz, Ammar 和 Argyros, Antonis A，"Towards Holistic Real-time Human 3D Pose Estimation using MocapNETs"，发表于 BMVC 2021。
- Ammar Qammaz 和 Antonis A. Argyros，"Occlusion-tolerant and personalized 3D human pose estimation in RGB images"，发表于 ICPR 2020。
- Qammaz, Ammar 和 Argyros, Antonis A，"MocapNET: Ensemble of SNN Encoders for 3D Human Pose Estimation in RGB Images"，发表于 BMVC 2019。
利用该项目，各种涉及3D人体姿态估计的应用都可以获得显著提升，尤其是在实时性能和可用性方面。MocapNET 为研究人员和开发者提供了一个强大且灵活的工具，以探索 3D 动作捕捉和人工智能之间的结合。
