Humanoid-Gym是一个基于Nvidia Isaac Gym的易用强化学习（RL）框架，旨在训练人形机器人的运动技能，强调从仿真到真实环境的零样本迁移。Humanoid-Gym还集成了从Isaac Gym到Mujoco的仿真到仿真框架，允许用户在不同的物理仿真中验证训练的策略，以确保策略的鲁棒性和泛化能力。

该代码库已通过RobotEra的XBot-S（1.2米高的人形机器人）和XBot-L（1.65米高的人形机器人）在真实环境中进行零样本仿真到真实迁移验证。

特性

1. 人形机器人训练

本仓库提供全面的人形机器人训练指导和脚本。Humanoid-Gym具有专门为人形机器人设计的奖励函数，简化了仿真到真实迁移的难度。在本仓库中，我们以RobotEra的XBot-L为主要示例。它也可以通过最小调整用于其他机器人。我们的资源涵盖了设置、配置和执行。我们的目标是通过提供深入的训练和优化，充分准备机器人进行真实世界的运动。

全面的训练指南：我们为训练过程的每个阶段提供详细的指导。
逐步配置说明：我们的指导清晰简洁，确保高效的设置过程。
便于部署的执行脚本：利用我们预先准备的脚本简化训练工作流程。

2. 仿真到仿真支持

我们还分享了我们的仿真到仿真流程，允许您将训练的策略转移到高度准确和精心设计的仿真环境中。一旦您获得机器人，就可以自信地在真实环境中部署RL训练的策略。

我们的仿真器设置，特别是Mujoco，经过精细调整以closely模拟真实场景。这种仔细的校准确保了仿真和真实环境中的表现紧密对齐。这一改进使我们的仿真更加可信，并增强了我们对其在真实场景中适用性的信心。

3. 去噪世界模型学习（即将推出！）

去噪世界模型学习（DWL）提出了一个先进的仿真到真实框架，集成了状态估计和系统识别。这种双重方法确保机器人的学习和适应在真实环境中既实用又有效。

增强仿真到真实适应性：优化机器人从仿真到真实环境过渡的技术。
改进状态估计能力：用于精确可靠状态分析的高级工具。

灵巧手操作（即将推出！）

安装

使用conda create -n myenv python=3.8创建一个新的Python 3.8虚拟环境。
为获得最佳性能，我们推荐使用NVIDIA驱动版本525 sudo apt install nvidia-driver-525。支持的最低驱动版本是515。如果无法安装525版本，请确保系统至少有515版本以保持基本功能。
安装PyTorch 1.13和Cuda-11.7：
- conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
安装numpy-1.23：conda install numpy=1.23
安装Isaac Gym：
- 从https://developer.nvidia.com/isaac-gym下载并安装Isaac Gym Preview 4。
- cd isaacgym/python && pip install -e .
- 运行示例：cd examples && python 1080_balls_of_solitude.py
- 查阅isaacgym/docs/index.html进行故障排除。
安装humanoid-gym：
- 克隆此仓库。
- cd humanoid-gym && pip install -e .

使用指南

示例

# 在4096个环境中启动'v1'的PPO策略训练
# 此命令启动基于PPO算法的人形机器人任务训练。
python scripts/train.py --task=humanoid_ppo --run_name v1 --headless --num_envs 4096

# 评估训练好的PPO策略'v1'
# 此命令加载'v1'策略以在其环境中评估性能。
# 同时，它会自动导出一个JIT模型，适用于部署目的。
python scripts/play.py --task=humanoid_ppo --run_name v1

# 实施仿真到仿真模型转换
# 此命令使用导出的'v1'策略进行仿真到仿真转换。
python scripts/sim2sim.py --load_model /path/to/logs/XBot_ppo/exported/policies/policy_1.pt

# 运行我们训练好的策略
python scripts/sim2sim.py --load_model /path/to/logs/XBot_ppo/exported/policies/policy_example.pt

1. 默认任务

humanoid_ppo
- 目的：基准，PPO策略，多帧低级控制
- 观察空间：可变$(47 \times H)$维度，其中$H$是帧数
- $[O_{t-H} ... O_t]$
- 特权信息：$73$维
humanoid_dwl（即将推出）

2. PPO策略

训练命令：要训练PPO策略，执行：

python humanoid/scripts/train.py --task=humanoid_ppo --load_run log_file_path --name run_name

运行训练好的策略：要部署训练好的PPO策略，使用：

python humanoid/scripts/play.py --task=humanoid_ppo --load_run log_file_path --name run_name

默认情况下，加载实验文件夹中最后一次运行的最新模型。但可以通过调整训练配置中的load_run和checkpoint来选择其他运行迭代/模型。

3. 仿真到仿真

请注意：在开始仿真到仿真过程之前，确保运行play.py以导出JIT策略。
基于Mujoco的仿真到仿真部署：使用以下命令利用Mujoco执行仿真到仿真（sim2sim）部署：
```
python scripts/sim2sim.py --load_model /path/to/export/model.pt
```

4. 参数

CPU和GPU使用：要在CPU上运行仿真，设置--sim_device=cpu和--rl_device=cpu。对于GPU操作，相应地指定--sim_device=cuda:{0,1,2...}和--rl_device={0,1,2...}。请注意，CUDA_VISIBLE_DEVICES不适用，必须匹配--sim_device和--rl_device设置。
无头操作：包含--headless以进行无渲染操作。
渲染控制：训练过程中按'v'切换渲染。
策略位置：训练好的策略保存在humanoid/logs/<experiment_name>/<date_time>_<run_name>/model_<iteration>.pt。

5. 命令行参数

对于RL训练，请参考humanoid/utils/helpers.py#L161。对于仿真到仿真过程，请参考humanoid/scripts/sim2sim.py#L169。

代码结构

每个环境都基于一个env文件（legged_robot.py）和一个configuration文件（legged_robot_config.py）。后者包含两个类：LeggedRobotCfg（包含所有环境参数）和LeggedRobotCfgPPO（表示所有训练参数）。
env和config类都使用继承。
cfg中指定的非零奖励尺度为总奖励贡献相应名称的函数。
任务必须通过task_registry.register(name, EnvClass, EnvConfig, TrainConfig)注册。注册可能发生在envs/__init__.py中，或在此仓库外部。

添加新环境

基础环境"legged_robot"构建了一个粗糙地形运动任务。相应的配置没有指定机器人资产（URDF/MJCF）和奖励比例。

如需添加新环境，在"envs/"目录下创建一个新文件夹，并命名配置文件为"<your_env>_config.py"。新配置应继承自现有环境配置。
如果提出新机器人：
- 将相应资产插入"resources/"文件夹。
- 在"cfg"文件中，设置资产路径，定义身体名称、默认关节位置和PD增益。指定所需的"train_cfg"和环境名称（Python类）。
- 在"train_cfg"中，设置"experiment_name"和"run_name"。
如有需要，在"<your_env>.py"中创建环境。继承现有环境，重写所需函数和/或添加奖励函数。
在"humanoid/envs/init.py"中注册环境。
根据需求修改或调整"cfg"或"cfg_train"中的其他参数。要移除奖励，将其比例设为零。避免修改其他环境的参数！
如果希望新机器人/环境执行sim2sim，可能需要修改"humanoid/scripts/sim2sim.py"：
- 检查机器人在MJCF和URDF之间的关节映射。
- 根据训练的策略更改机器人的初始关节位置。

故障排除

注意以下情况：

# 错误
ImportError: libpython3.8.so.1.0: cannot open shared object file: No such file or directory

# 解决方案
# 设置正确路径
export LD_LIBRARY_PATH="~/miniconda3/envs/your_env/lib:$LD_LIBRARY_PATH" 

# 或
sudo apt install libpython3.8

# 错误
AttributeError: module 'distutils' has no attribute 'version'

# 解决方案
# 安装pytorch 1.12.0
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

# 错误，由conda分发的libstdc++版本与用于构建Isaac Gym的系统版本不同导致
ImportError: /home/roboterax/anaconda3/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.20` not found (required by /home/roboterax/carbgym/python/isaacgym/_bindings/linux64/gym_36.so)

# 解决方案
mkdir ${YOUR_CONDA_ENV}/lib/_unused
mv ${YOUR_CONDA_ENV}/lib/libstdc++* ${YOUR_CONDA_ENV}/lib/_unused

引用

如果使用此代码或其部分，请引用以下内容：

@article{gu2024humanoid,
  title={Humanoid-Gym: Reinforcement Learning for Humanoid Robot with Zero-Shot Sim2Real Transfer},
  author={Gu, Xinyang and Wang, Yen-Jen and Chen, Jianyu},
  journal={arXiv preprint arXiv:2404.05695},
  year={2024}
}