panda-gym: 开源的目标条件机器人学习环境

panda-gym是一个基于PyBullet物理引擎和Gymnasium框架开发的开源机器人强化学习环境集。该项目由Quentin Gallouédec等人开发,旨在为机器人学习研究提供一个灵活、易用的仿真平台。panda-gym的核心是模拟Franka Emika公司的Panda机器人,并提供了一系列经典的机器人操作任务。

项目特点

panda-gym具有以下几个主要特点:

基于开源物理引擎PyBullet,保证了仿真的准确性和可扩展性。
兼容OpenAI Gym接口,可以无缝对接各种强化学习算法。
提供多种经典机器人操作任务,如抓取、推动、翻转等。
支持目标条件学习,适用于多目标强化学习研究。
代码结构清晰,易于二次开发和自定义新任务。

环境介绍

panda-gym目前包含以下6种经典任务环境:

Reach: 控制机械臂末端执行器到达目标位置
Push: 推动物体到指定目标位置
Slide: 滑动物体到指定目标位置
Pick and Place: 抓取物体并放置到目标位置
Stack: 将两个物体堆叠在目标位置
Flip: 将物体翻转到目标朝向

PandaReach-v3

图1: PandaReach-v3 任务示例

每个任务都提供了两种控制模式:

末端执行器位移控制:直接控制末端执行器的位移
关节角度控制:控制每个关节的角度

同时还提供了两种奖励函数:

稀疏奖励:只有完成任务才有奖励
密集奖励:根据完成程度给出连续的奖励值

这些不同的设置为研究者提供了丰富的实验选择。

安装与使用

panda-gym可以通过pip轻松安装:

pip install panda-gym

使用时只需要几行代码即可创建环境并进行交互:

import gymnasium as gym
import panda_gym

env = gym.make('PandaReach-v3', render_mode="human")

observation, info = env.reset()

for _ in range(1000):
    action = env.action_space.sample()  # 随机动作
    observation, reward, terminated, truncated, info = env.step(action)

    if terminated or truncated:
        observation, info = env.reset()

env.close()