ChatPose:对话式3D人体姿态
这是ChatPose(原名PoseGPT)的实现。更多详情请查看我们的项目页面。
ChatPose是一个多模态大语言模型,用于理解和推理3D人体姿态(以SMPL姿态格式)。ChatPose使用户能够询问有关人体姿态的问题,并从图像和文本描述中推断这些姿态。
开始使用
克隆仓库:
git clone https://github.com/yfeng95/PoseGPT
cd PoseGPT
要求
bash install_conda.sh
下载数据
bash fetch_data.sh
这一步将下载SMPL-X模型用于可视化。
推理
- 对话:
python main_chat.py
- 带图像输入的对话:
python main_chat.py --image_file dataset/baber.png
引用
@InProceedings{feng2024chatpose,
author = {Feng, Yao and Lin, Jing and Dwivedi, Sai Kumar and Sun, Yu and Patel, Priyanka and Black, Michael J.},
title = {{ChatPose}: Chatting about 3D Human Pose},
booktitle = {CVPR},
year = {2024}
}
致谢
该仓库主要基于LLaVA和LISA构建。 我们受益的其他优秀资源: TokenHMR、PoseScript和4D-Humans用于3D人体姿态。