Realtime_Multi-Person_Pose_Estimation学习资料汇总
Realtime_Multi-Person_Pose_Estimation是由CMU Perceptual Computing Lab开发的一个实时多人姿态估计框架。该项目在2016年MSCOCO关键点挑战赛中获胜,并获得了2016 ECCV最佳演示奖。它是第一个在COCO数据集上达到70+ mAP,在MPII数据集上达到80+ mAP的开源系统。
下面我们来看看这个项目的一些重要信息和学习资源:
1. 项目概述
- GitHub仓库: https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation
- 作者: Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh
- 特点: 自底向上的方法,无需人体检测器,可实时多人姿态估计
2. 学习资料
- 论文: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
- 视频演示: YouTube
- 口头报告视频: CVPR 2017 Oral
- 幻灯片: ILSVRC and COCO workshop 2016
3. 代码实现
除了原始的Caffe实现,社区还贡献了多个深度学习框架的复现版本:
- OpenPose(C++): https://github.com/CMU-Perceptual-Computing-Lab/openpose
- TensorFlow:
- PyTorch:
4. 使用指南
-
C++版本(用于演示):
- 使用OpenPose,支持CPU/GPU和Windows/Ubuntu
- 支持图像、视频、摄像头三种输入
-
Matlab版本(用于COCO评估):
- 兼容通用Caffe
- 运行
cd testing; get_model.sh获取最新MSCOCO模型 - 修改
config.m中的caffe路径,运行demo.m
-
Python版本:
cd testing/pythonipython notebook- 打开并运行
demo.ipynb
5. 训练指南
- 运行
cd training; bash getData.sh获取COCO数据集 - 运行Matlab脚本转换注释格式
- 生成JSON文件和LMDB
- 下载修改版Caffe: caffe_train
- 运行
python setLayers.py --exp 1生成训练配置 - 下载VGG-19模型初始化
- 运行
bash train_pose.sh 0,1开始训练
6. 网络架构
Realtime_Multi-Person_Pose_Estimation采用了一种自底向上的方法,无需使用人体检测器就可以实现多人姿态估计。它的核心是使用部位亲和场(Part Affinity Fields)来关联身体部位。
7. 效果展示
通过以上资料,相信大家可以快速入门Realtime_Multi-Person_Pose_Estimation项目,并进行更深入的学习和研究。欢迎探索这个强大的实时多人姿态估计框架!
