访问官网
Github
文档
论文DRLib：一个简洁的深度强化学习库，集成了几乎所有基于off-policy的RL算法，并支持HER和PER.
一个简洁的深度强化学习库,集成了几乎所有基于off-policy的RL算法,并支持HER和PER。该库是基于 https://github.com/openai/spinningup 的代码编写的,可以使用tensorflow或pytorch实现。 与spinning up相比,已删除了多进程和实验网格包装器,以便于应用。此外,我们库中的代码更便于在pycharm中调试~
欢迎关注我的最新工作D2SR,一种基于切换的密集转稀疏高效奖励函数设计方法:
核心代码已在本仓库开源:D2SSR
相应的中文版论文也在这个仓库中:D2SR: Transferring Dense Reward Function to Sparse by Network Resetting
欢迎关注我的最新工作RHER,一种简洁高效的HER变体: https://github.com/kaixindelele/RHER
最新的、全面的实验结果:
4种tf,3种torch的HER算法在三个操作任务的测试结果。
画图脚本示例:
python spinup_utils/plot.py HER_DRLib_mpi1/2 --select Push
#如果是Windows建议用绝对路径,否则找不到文件
保存一个训练好的模型:net/replay_buffer/norm!
python train_torch_mpi_norm_save.py
重载测试一个训练好的模型:net/replay_buffer/norm!
python train_torch_mpi_norm_load.py
项目特点:
-
提供tf1和pytorch两个版本的算法,前者快,后者新,任君选择;
-
在spinup的基础上,封装了DDPG, TD3, SAC等主流强化算法,相比原来的函数形式的封装,调用更方便,且加了pytorch的GPU调用;
-
添加了HER和PER功能,非常适合做机器人相关任务的同学们;
-
实现了最简单的并行自动调参（ExperimentGrid）和多进程（MPI_fork-实现了,没有完全实现）部分,适合新手在pycharm中debug,原版的直接调试经常会报错~
教程链接:【Spinning Up】四、python同时启动多个不同参数脚本
多进程教程:没写~
我终于把tf版本-基于mpi的多进程调好了~
torch版本的没有测试完毕,有报错!
如果大家的CPU核心足够多的情况下,试试mpi多进程,性能会提升比较大的。
目前测试的结果是,tf-DDPG的性能最佳,TD3的结果竟然会比ddpg的差,简直了~
-
最后,全网最详细的环境配置教程!亲测两个小时内,从零配置完全套环境!
-
求三连,不行的话,求个star!
1. Installation
-
Clone the repo and cd into it:
git clone https://github.com/kaixindelele/DRLib.git cd DRLib -
Create anaconda DRLib_env env:
conda create -n DRLib_env python=3.6.9 source activate DRLib_env -
Install pip_requirement.txt:
pip install -r pip_requirement.txtIf installation of mpi4py fails, try the following command(Only this one can be installed successfully!):
conda install mpi4py或者直接看下面的链接： ubuntu-windows-install-mpi4py-亲测好使！
conda install seaborn==0.8.1 scipy -y -
Install tensorflow-gpu=1.14.0
conda install tensorflow-gpu==1.14.0 # if you have a CUDA-compatible gpu and proper drivers -
Install torch torchvision
# CUDA 9.2 conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=9.2 -c pytorch # CUDA 10.1 conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch # CUDA 10.2 conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.2 -c pytorch
仅限 CPU
conda 安装 pytorch==1.6.0 torchvision==0.7.0 cpuonly -c pytorch
# 或通过 pip 安装
pip --default-timeout=100 安装 torch -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
[pip 在线安装 torch!非离线!](https://blog.csdn.net/hehedadaq/article/details/111480313)
6. 安装 mujoco 和 mujoco-py
bash 参考: https://blog.csdn.net/hehedadaq/article/details/109012048
- 安装 gym[all]
参考 https://blog.csdn.net/hehedadaq/article/details/110423154
2. 训练模型
- 示例 1. SAC-tf1-HER-PER 配合 FetchPush-v1:
-
修改 arguments.py 中的参数, 选择环境, RL 算法, 是否使用 PER 和 HER, gpu-id 等.
-
使用 train_tf.py 或 train_torch.py 运行
python train_tf.py -
将实验结果导出到本地:https://blog.csdn.net/hehedadaq/article/details/114045615
-
绘制结果:https://blog.csdn.net/hehedadaq/article/details/114044217
超强版强化学习画图脚本！
相比于原始的 plot.py 文件, 增加了如下功能:
可以直接在 pycharm 或 vscode 执行, 也可以用命令行传参;
按 exp_name 排序, 而不是按时间排序;
固定好每个 exp_name 的颜色;
可以调节曲线的线宽, 便于观察;
保存图片到本地, 便于远程 ssh 画图~
自动显示全屏
图片自适应
针对颜色不敏感的人群, 可以在每条 legend 上注明性能值, 和性能序号
对图例 legend 根据性能从高到低排序, 便于分析比较
提供 clip_xaxis 值, 对训练程度进行统一截断, 图看起来更整洁。 seaborn 版本 0.8.1
3. 文件树和介绍:
4. HER 介绍:
HER的成就基于以下代码:
-
可以收敛,但这个代码太难。https://github.com/openai/baselines
-
也可以收敛,但只对DDPG-torch-cpu有效。https://github.com/sush1996/DDPG_Fetch
-
无法收敛,但这个代码更简单。https://github.com/Stable-Baselines-Team/stable-baselines
4.1. 我的理解和视频:
瓜豆互换之道: 第一步在春天（状态），种瓜(从源到目标)得豆，通过HER，把目标换成种豆，按照之前的操作，可以学会在春天种豆得豆; 第二步种米得瓜，学会种瓜得瓜; 即只要是智能体中间经历过的状态，都可以当做它的目标,进行学会。 即如果智能体能遍历所有的状态空间,那么它就可以学会达到整个状态空间。
论文分析视频:https://www.bilibili.com/video/BV1BA411x7Wm
代码分析文档:https://github.com/kaixindelele/DRLib/blob/main/algos/pytorch/offPolicy/HER_introduction.md
4.2. HER的关键技巧:
- state-normalize:FetchPush-v1任务的成功率从0提高到1。
- Q-clip:FetchPickAndPlace-v1任务的成功率从0.5提高到0.7。
- action_l2:对Push任务影响很小。
4.3.HER-DDPG在FetchPush-v1上的表现: (图表)
5.PER介绍: 参见:off-policy全系列（DDPG-TD3-SAC-SAC-auto）+优先经验回放PER-代码-实验结果分析
6.总结: 这个库我封装了很久,整个代码库简洁、方便、功能比较齐全,在环境配置这块几乎是手把手教程,希望能给大家节省一些时间。从零开始配置,不到两小时,从下载代码库,到配置环境,到在自己的环境中跑通,全流程非常流畅。 下一步添加的功能: 1.PPO的封装; 2.DQN的封装; 3.多进程的封装; 4.ExperimentGrid的封装。
7.联系方式: 深度强化学习-DRL:799378128 知乎帐号:未入门的炼丹学徒 CSDN帐号:https://blog.csdn.net/hehedadaq
Star History: (图表)
欢迎引用! @inproceedings{luo2023d2sr, title={D2SR: Transferring dense reward function to sparse by network resetting}, author={Luo, Yongle and Wang, Yuxin and Dong, Kun and Liu, Yu and Sun, Zhiyong and Zhang, Qiang and Song, Bo}, booktitle={2023 IEEE International Conference on Real-time Computing and Robotics (RCAR)}, pages={906--911}, year={2023}, organization={IEEE} }
