访问官网
GithubHumanPlus：人形机器人影随人动和人类模仿
项目网站：https://humanoid-ai.github.io/
本仓库包含人形影随变换器（HST）和人形模仿变换器（HIT）的最新实现，以及全身姿态估计的说明和相关硬件代码库。
人形影随变换器（HST）
基于legged_gym和rsl_rl的仿真强化学习。
安装
首先从官方源安装IsaacGym v4。将isaacgym文件夹放在HST文件夹内。
cd HST/rsl_rl && pip install -e .
cd HST/legged_gym && pip install -e .
示例用法
训练HST：
python legged_gym/scripts/train.py --run_name 0001_test --headless --sim_device cuda:0 --rl_device cuda:0
运行已训练的策略：
python legged_gym/scripts/play.py --run_name 0001_test --checkpoint -1 --headless --sim_device cuda:0 --rl_device cuda:0
人形模仿变换器（HIT）
基于ACT仓库和Mobile ALOHA仓库的真实世界模仿学习。
安装
conda create -n HIT python=3.8.10
conda activate HIT
pip install torchvision
pip install torch
pip install pyquaternion
pip install pyyaml
pip install rospkg
pip install pexpect
pip install mujoco==2.3.7
pip install dm_control==1.0.14
pip install opencv-python
pip install matplotlib
pip install einops
pip install packaging
pip install h5py
pip install ipython
pip install getkey
pip install wandb
pip install chardet
pip install h5py_cache
cd HIT/detr && pip install -e .
示例用法
收集您自己的数据或从此处下载我们的数据集，并将其放在HIT文件夹中。
设置新终端，运行：
conda activate HIT
cd HIT
训练HIT：
# 折叠衣物任务
python imitate_episodes_h1_train.py --task_name data_fold_clothes --ckpt_dir fold_clothes/ --policy_class HIT --chunk_size 50 --hidden_dim 512 --batch_size 48 --dim_feedforward 512 --lr 1e-5 --seed 0 --num_steps 100000 --eval_every 100000 --validate_every 1000 --save_every 10000 --no_encoder --backbone resnet18 --same_backbones --use_pos_embd_image 1 --use_pos_embd_action 1 --dec_layers 6 --gpu_id 0 --feature_loss_weight 0.005 --use_mask --data_aug --wandb
硬件代码库
硬件代码库基于unitree_ros2。
安装
conda create -n lowlevel python=3.8
conda activate lowlevel
安装torch==1.11.0和torchvision==0.12.0： 请参考以下链接： https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048 https://docs.nvidia.com/deeplearning/frameworks/install-pytorch-jetson-platform/index.html
示例用法
将训练好的策略放在hardware-script/ckpt文件夹中，并将其重命名为policy.pt
conda activate lowlevel
cd hardware-script
python hardware_whole_body.py --task_name stand
