RL Games: 高性能强化学习库

Discord频道链接

• https://discord.gg/hnYRq7DsQh

论文和相关链接

• Isaac Gym: 用于机器人学习的高性能GPU物理模拟: https://arxiv.org/abs/2108.10470
• DeXtreme: 从模拟到现实的灵巧手部操作迁移: https://dextreme.org/ https://arxiv.org/abs/2210.13702
• 将灵巧操作从GPU模拟迁移到远程真实世界TriFinger: https://s2r2-ig.github.io/ https://arxiv.org/abs/2108.09779
• 在星际争霸多智能体挑战中,独立学习就足够了吗? https://arxiv.org/abs/2011.09533
• 超快对抗运动先验(AMP)实现: https://twitter.com/xbpeng4/status/1506317490766303235 https://github.com/NVIDIA-Omniverse/IsaacGymEnvs
• OSCAR: 数据驱动的操作空间控制,用于自适应和鲁棒的机器人操作: https://cremebrule.github.io/oscar-web/ https://arxiv.org/abs/2110.00704
• EnvPool: 高度并行的强化学习环境执行引擎: https://arxiv.org/abs/2206.10558 和 https://github.com/sail-sg/envpool
• TimeChamber: 大规模并行自我对弈框架: https://github.com/inspirai/TimeChamber

在不同环境中的一些结果

• NVIDIA Isaac Gym

• Dextreme

• DexPBT

• 星际争霸2多智能体
• BRAX
• Mujoco Envpool
• DeepMind Envpool
• Atari Envpool
• 随机环境

Pytorch实现:

• PPO,支持非对称演员-评论家变体
• 支持与Isaac Gym和Brax的端到端GPU加速训练流程
• 支持掩码动作
• 多智能体训练,去中心化和中心化评论家变体
• 自我对弈

Tensorflow 1.x实现(在此版本中已移除):

• Rainbow DQN
• A2C
• PPO

快速开始: 云端Colab

在Colab笔记本中快速轻松地探索RL Games:

• Mujoco训练 Mujoco envpool训练示例。
• Brax训练 Brax训练示例,所有观察和动作都保留在GPU上。
• 使用Cartpole的Onnx离散空间导出示例 envpool训练示例。
• 使用Pendulum的Onnx连续空间导出示例 envpool训练示例。
• 使用Pendulum的Onnx带LSTM的连续空间导出示例 envpool训练示例。

安装

为获得最大的训练性能,强烈建议预先安装Pytorch 2.2或更新版本,以及CUDA 12.1或更新版本:

conda install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia 或: pip install pip3 install torch torchvision

然后:

pip install rl-games

要运行基于CPU的环境,需要安装Ray或envpool pip install envpool 或 pip install ray 要运行Mujoco、Atari游戏或基于Box2d的环境训练,需要分别额外安装 pip install gym[mujoco]、pip install gym[atari] 或 pip install gym[box2d]。

要运行Atari还需要 pip install opencv-python。此外,强烈建议安装envpool以获得Mujoco和Atari环境的最大模拟和训练性能: pip install envpool

引用

如果您在研究中使用rl-games,请使用以下引用:

@misc{rl-games2021,
title = {rl-games: A High-performance Framework for Reinforcement Learning},
author = {Makoviichuk, Denys and Makoviychuk, Viktor},
month = {May},
year = {2021},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/Denys88/rl_games}},
}

开发设置

poetry install
# 安装cuda相关依赖
poetry run pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html

训练

NVIDIA Isaac Gym

下载并按照Isaac Gym的安装说明进行操作: https://developer.nvidia.com/isaac-gym
以及IsaacGymEnvs: https://github.com/NVIDIA-Omniverse/IsaacGymEnvs

蚂蚁

python train.py task=Ant headless=True python train.py task=Ant test=True checkpoint=nn/Ant.pth num_envs=100

人形机器人

python train.py task=Humanoid headless=True python train.py task=Humanoid test=True checkpoint=nn/Humanoid.pth num_envs=100

Shadow Hand方块定向任务

python train.py task=ShadowHand headless=True python train.py task=ShadowHand test=True checkpoint=nn/ShadowHand.pth num_envs=100

其他

Atari 乒乓

poetry install -E atari
poetry run python runner.py --train --file rl_games/configs/atari/ppo_pong.yaml
poetry run python runner.py --play --file rl_games/configs/atari/ppo_pong.yaml --checkpoint nn/PongNoFrameskip.pth

Brax蚂蚁

poetry install -E brax
poetry run pip install --upgrade "jax[cuda]==0.3.13" -f https://storage.googleapis.com/jax-releases/jax_releases.html
poetry run python runner.py --train --file rl_games/configs/brax/ppo_ant.yaml
poetry run python runner.py --play --file rl_games/configs/brax/ppo_ant.yaml --checkpoint runs/Ant_brax/nn/Ant_brax.pth

实验追踪

rl_games支持使用Weights and Biases进行实验追踪。

poetry install -E atari
poetry run python runner.py --train --file rl_games/configs/atari/ppo_breakout_torch.yaml --track
WANDB_API_KEY=xxxx poetry run python runner.py --train --file rl_games/configs/atari/ppo_breakout_torch.yaml --track
poetry run python runner.py --train --file rl_games/configs/atari/ppo_breakout_torch.yaml --wandb-project-name rl-games-special-test --track
poetry run python runner.py --train --file rl_games/configs/atari/ppo_breakout_torch.yaml --wandb-project-name rl-games-special-test -wandb-entity openrlbenchmark --track

多GPU

我们使用torchrun来协调任何多GPU运行。

torchrun --standalone --nnodes=1 --nproc_per_node=2 runner.py --train --file rl_games/configs/ppo_cartpole.yaml

配置参数

自定义网络示例:

[简单测试网络](https://github.com/Denys88/rl_games/blob/master/rl_games/envs/test_network.py 该网络接受字典形式的观察值。 要注册它，你可以在你的 init.py 中添加如下代码：

from rl_games.envs.test_network import TestNetBuilder 
from rl_games.algos_torch import model_builder
model_builder.register_network('testnet', TestNetBuilder)

[简单测试环境](https://github.com/Denys88/rl_games/blob/master/rl_games/envs/test/rnn_env.py [示例环境](https://github.com/Denys88/rl_games/blob/master/rl_games/envs/test/example_env.py

环境支持的额外属性和函数

发行说明

1.6.1

• 修复了在训练多智能体环境时出现的中心值RNN错误。
• 添加了Deepmind Control PPO基准测试。
• 添加了几种实验性的值预测训练方法（OneHot、TwoHot编码和交叉熵损失而不是L2）。
• 新方法尚未实现。目前无法通过yaml文件开启。一旦我们找到一个训练效果更好的环境，就会添加到配置中。
• 在tensorboard中添加了形状奖励图。
• 修复了SAC不使用save_frequency保存权重的错误。
• 为像Isaac Gym这样的GPU加速训练环境添加了多节点训练支持。无需更改训练脚本。感谢@ankurhanda和@ArthurAllshire的实现协助。
• 添加了训练过程中进行推理的评估功能。启用后，可以自动获取并更新训练过程中的检查点用于推理。
• 添加了用于运行时更新rl训练参数的get/set API。感谢@ArthurAllshire提供初始版本的快速PBT代码。
• 修复了SAC加载权重不正确的问题。
• 移除了不需要的Ray依赖。
• 为在RNN网络配置中使用已弃用的'seq_len'而不是'seq_length'添加了警告。

1.6.0

• 为离散和连续动作空间添加了ONNX导出colab示例。对于连续情况，还提供了LSTM策略示例。
• 改进了连续空间中RNN的训练，添加了zero_rnn_on_done选项。
• 添加了NVIDIA CuLE支持：https://github.com/NVlabs/cule
• 添加了player配置覆盖。Vecenv用于推理。
• 修复了使用中心值的多GPU训练。
• 修复了max_frames终止条件，以及它与线性学习率的交互：https://github.com/Denys88/rl_games/issues/212
• 修复了"deterministic"拼写错误问题。
• 修复了Mujoco和Brax SAC配置。
• 修复了多智能体环境统计报告。修复了Starcraft2 SMAC环境。

1.5.2

• 为SAC添加了观察值归一化。
• 恢复了自适应KL遗留模式。

1.5.1

• 修复了构建包问题。

1.5.0

• 添加了wandb支持。
• 添加了poetry支持。
• 修复了各种错误。
• 修复了字典观察值情况下cnn输入未除以255的问题。
• 添加了更多envpool mujoco和atari训练示例。一些结果：15分钟Mujoco人形机器人训练，2分钟atari乒乓。
• 添加了Brax和Mujoco colab训练示例。
• 添加了'seed'命令行参数。如果大于0，将覆盖配置中的种子。
• 弃用horovod，改用torch.distributed（#171）。

1.4.0

• 添加了discord频道 https://discord.gg/hnYRq7DsQh :)
• 添加了envpool支持，并提供了几个atari示例。运行速度比ray快3-4倍。
• 添加了mujoco结果。比openai spinning up ppo结果好得多。
• 添加了tcnn(https://github.com/NVlabs/tiny-cuda-nn)支持。在IsaacGym环境中减少5-10%的训练时间。
• 各种修复和改进。

1.3.2

• 添加了'sigma'命令行参数。如果fixed_sigma为True，将覆盖连续空间的sigma。

1.3.1

• 修复了SAC不工作的问题

1.3.0

• 简化了rnn实现。运行稍慢但更加稳定。
• 现在如果策略是rnn，中心值可以不是rnn。
• 从yaml文件中移除了load_checkpoint。现在--checkpoint适用于训练和播放。

1.2.0

• 添加了Swish (SILU)和GELU激活函数，可以改善某些Isaac Gym环境的结果。
• 移除了tensorflow并初步清理了旧的/未使用的代码。
• 简化了runner。
• 现在网络在算法中使用load_network方法创建。

1.1.4

• 修复了当模拟和rl设备不同时，在播放（测试）模式下player崩溃的问题。
• 修复了各种多GPU错误。

1.1.3

• 修复了在播放（测试）模式下运行单个Isaac Gym环境时崩溃的问题。
• 添加了配置参数clip_actions用于关闭内部动作裁剪和重缩放

1.1.0

• 添加到pypi：pip install rl-games
• 添加了报告环境（模拟）步骤fps的功能，不包括策略推理。改进了命名。
• 为提高可读性，在yaml配置中重命名：steps_num改为horizon_length，lr_threshold改为kl_threshold

故障排除

• 某些支持的环境不随setup.py一起安装，你需要手动安装它们
• 从rl-games 1.1.0开始，旧的yaml配置将与新版本不兼容：
  • steps_num应更改为horizon_length，lr_threshold应更改为kl_threshold

已知问题

• 使用Isaac Gym运行单个环境可能导致崩溃，如果发生这种情况，请切换到至少2个并行模拟的环境