Lite Pose

幻灯片|论文|视频

摘要

姿态估计在以人为中心的视觉应用中扮演着至关重要的角色。然而,由于计算成本高（每帧超过150 GMACs），在资源受限的边缘设备上部署最先进的基于HRNet的姿态估计模型非常困难。本文研究了在边缘设备上进行实时多人姿态估计的高效架构设计。通过我们的渐进缩小实验，我们揭示了HRNet的高分辨率分支在低计算区域的模型中是冗余的。移除这些分支可以同时提高效率和性能。受此发现的启发，我们设计了LitePose，一种用于姿态估计的高效单分支架构，并引入了两种简单的方法来增强LitePose的能力，包括融合反卷积头和大核卷积。融合反卷积头消除了高分辨率分支中的冗余，允许以低开销进行尺度感知的特征融合。大核卷积显著提高了模型的容量和感受野，同时保持低计算成本。在CrowdPose数据集上，仅增加25%的计算量，$7\times7$核比$3\times3$核获得了$+14.0$ mAP的性能提升。在移动平台上，与之前最先进的高效姿态估计模型相比，LitePose在不牺牲性能的情况下将延迟降低了高达$5.0\times$，推动了边缘设备上实时多人姿态估计的前沿。

结果

CrowdPose测试

COCO 2017验证/测试

注意：更多详细信息，请参阅我们的论文。

使用方法

• 先决条件
• 数据准备
• 结果
• 训练过程概述
• 评估
• 模型

先决条件

1. 安装PyTorch和其他依赖项：

pip install -r requirements.txt

2. 按照官方HigherHRNet仓库的指引安装COCOAPI和CrowdPoseAPI。

数据准备

1. 请从COCO下载获取2017年的训练/验证数据集，这些数据用于训练和评估。
2. 请从CrowdPose下载获取训练/验证数据集，用于训练和评估。
3. 有关数据安排的更多详细信息，请参阅官方HigherHRNet仓库。

训练过程概述

超网络训练

要从头开始训练一个由arch_manager.py指定搜索空间的超网络，使用以下命令：

python dist_train.py --cfg experiments/crowd_pose/mobilenet/supermobile.yaml

权重转移

在训练超网络后，您可能想从超网络中提取特定的子网络（例如search-XS）。以下脚本将会很有用：

python weight_transfer.py --cfg experiments/crowd_pose/mobilenet/supermobile.yaml --superconfig mobile_configs/search-XS.json TEST.MODEL_FILE 你的超网络检查点路径

常规训练

要训练具有特定架构（例如search-XS）的普通网络，请使用以下脚本：

注意：在训练之前，请根据架构配置（例如search-XS.json）更改配置（例如experiments/crowd_pose/mobilenet/mobile.yaml）中的分辨率。

python dist_train.py --cfg experiments/crowd_pose/mobilenet/mobile.yaml --superconfig mobile_configs/search-XS.json

评估

要评估具有特定架构（例如search-XS）的模型，请使用以下脚本：

python valid.py --cfg experiments/crowd_pose/mobilenet/mobile.yaml --superconfig mobile_configs/search-XS.json TEST.MODEL_FILE 你的检查点路径

模型

预训练模型

为了重现论文中的结果，我们需要在训练超级网络之前加载预训练的检查点。这些检查点可在COCO-预训练和CrowdPose-预训练中获取。

结果模型

我们提供了与论文中结果相对应的检查点。

致谢

Lite Pose 基于HRNet系列，主要基于HigherHRNet。感谢他们组织良好的代码！

关于大型卷积核，最近几篇论文得出了类似的结论：ConvNeXt、RepLKNet。我们期待大型卷积核在不同任务上有更多应用！

引用

如果Lite Pose对您的研究有用或相关，请通过引用我们的论文来认可我们的贡献：

@article{wang2022lite,
  title={Lite Pose: Efficient Architecture Design for 2D Human Pose Estimation},
  author={Wang, Yihan and Li, Muyang and Cai, Han and Chen, Wei-Ming and Han, Song},
  journal={arXiv preprint arXiv:2205.01271},
  year={2022}
}