SimplerEnv: 用于评估真实机器人操作策略的仿真环境

SimplerEnv简介

SimplerEnv是一个专门用于评估真实世界机器人操作策略的仿真环境。在机器人学习领域,构建通用的机器人操作策略取得了显著进展,但这些策略的可扩展和可复现评估仍然面临挑战。真实世界的评估往往成本高昂且效率低下。SimplerEnv提出使用物理仿真器作为真实世界评估的高效、可扩展和信息丰富的补充。这些仿真评估可以提供有价值的定量指标,用于检查点选择、洞察潜在的真实世界策略行为或失败模式,并提供标准化的设置以增强可重复性。

SimplerEnv基于SAPIEN仿真器和ManiSkill2基准开发。它包含两种主要的真实到仿真(real-to-sim)评估设置:

视觉匹配评估:通过将真实世界图像叠加到仿真背景上,并调整仿真中前景物体和机器人的纹理,来匹配真实和仿真的视觉外观。
变体聚合评估:创建不同的仿真环境变体(如不同的背景、光照、干扰物、桌面纹理等),并对它们的结果进行平均。

Google Robot环境示例

SimplerEnv的目标是指导和启发未来的真实到仿真评估工作。它提供了一个灵活、可扩展的框架,研究人员可以基于此开发和评估各种机器人操作策略。

主要特性

多种机器人平台支持:SimplerEnv支持Google Robot和WidowX等多种机器人平台,为不同类型的机器人提供仿真环境。
丰富的任务场景:提供多种任务场景,如抓取物体、移动物体、打开/关闭抽屉等,覆盖了常见的机器人操作任务。
视觉匹配技术:通过将真实世界图像叠加到仿真背景上,实现真实与仿真环境的高度视觉相似性。
变体聚合评估:通过创建不同的环境变体并聚合结果,提高评估的鲁棒性和泛化性。
先进策略支持:内置对RT-1、RT-1-X、Octo等先进机器人策略的支持,方便研究人员进行比较和评估。
可扩展性:提供清晰的指南和工具,支持添加新的策略、环境和机器人。
评估指标:提供平均最大排名违反(MMRV)和皮尔逊相关系数等指标,用于衡量仿真评估与真实世界性能的一致性。

环境安装

要开始使用SimplerEnv,首先需要安装必要的依赖。以下是基本安装步骤:

创建并激活Anaconda环境:

conda create -n simpler_env python=3.10
conda activate simpler_env

克隆SimplerEnv仓库:

git clone https://github.com/simpler-env/SimplerEnv --recurse-submodules

安装numpy (版本<2.0):

pip install numpy==1.24.4

安装ManiSkill2真实到仿真环境及其依赖:

cd {this_repo}/ManiSkill2_real2sim
pip install -e .

安装SimplerEnv包:

cd {this_repo}
pip install -e .

对于想要使用RT-1和Octo等预提供的代理进行评估,或添加新的机器人和环境的用户,还需要进行完整安装。完整安装步骤包括安装TensorFlow、Jax等依赖,以及下载相应的模型检查点。

使用示例

SimplerEnv提供了多种使用示例,以帮助用户快速上手:

简单的RT-1和Octo评估脚本:

import simpler_env
from simpler_env.utils.env.observation_utils import get_image_from_maniskill2_obs_dict

env = simpler_env.make('google_robot_pick_coke_can')
obs, reset_info = env.reset()
instruction = env.get_language_instruction()
print("Reset info", reset_info)
print("Instruction", instruction)

done, truncated = False, False
while not (done or truncated):
   image = get_image_from_maniskill2_obs_dict(env, obs)
   action = env.action_space.sample() # 替换为您的策略推理
   obs, reward, done, truncated, info = env.step(action)
   new_instruction = env.get_language_instruction()
   if new_instruction != instruction:
      instruction = new_instruction
      print("New Instruction", instruction)

episode_stats = info.get('episode_stats', {})
print("Episode stats", episode_stats)

环境交互可视化和手动控制:使用ManiSkill2_real2sim/mani_skill2_real2sim/examples/demo_manual_control_custom_envs.py脚本。
策略推理脚本:用于重现Google Robot和WidowX真实到仿真评估结果,包括对象/机器人姿势的扫描和高级日志记录。这些脚本位于scripts/目录下。

当前环境

SimplerEnv提供了多种预设环境,涵盖了常见的机器人操作任务:

Google Robot环境:
- 抓取可乐罐
- 抓取随机物体
- 移动物体
- 打开抽屉
- 关闭抽屉
- 将物体放入关闭的抽屉
WidowX环境:
- 将勺子放在毛巾上
- 将胡萝卜放在盘子上
- 堆叠积木
- 将茄子放入篮子

每个环境都经过精心设计,模拟真实世界的操作场景。用户可以通过简单的API调用这些环境:

import simpler_env
env = simpler_env.make('google_robot_pick_coke_can')

WidowX环境示例

评估方法

SimplerEnv提供了两种主要的评估方法:

视觉匹配评估:
- 将真实世界图像叠加到仿真背景上
- 调整仿真中前景物体和机器人的纹理
- 目的是最大程度地匹配真实和仿真的视觉外观
变体聚合评估:
- 创建不同的仿真环境变体(如不同的背景、光照、干扰物等)
- 对这些变体的结果进行平均
- 提高评估的鲁棒性和泛化性

这两种方法结合使用,可以全面评估机器人策略在仿真环境中的性能,并提供与真实世界性能的良好对应。

策略评估

SimplerEnv支持多种先进的机器人策略,包括RT-1、RT-1-X和Octo。研究人员可以使用这些预设策略作为基准,或者添加自己的策略进行评估。

评估指标包括:

平均最大排名违反(MMRV):衡量离线评估与策略在真实世界机器人上的表现一致性。
皮尔逊相关系数:衡量仿真评估结果与真实世界性能的相关性。

SimplerEnv提供了计算这些指标的工具:

from simpler_env.utils.metrics import mean_maximum_rank_violation, pearson_correlation, REAL_PERF

sim_eval_perf = [
    your_sim_eval(task="google_robot_move_near", policy=p) 
    for p in ["rt-1-x", "octo", ...]
]
real_eval_perf = [
    REAL_PERF["google_robot_move_near"][p] for p in ["rt-1-x", "octo", ...]
]
mmrv = mean_maximum_rank_violation(real_eval_perf, sim_eval_perf)
pearson = pearson_correlation(real_eval_perf, sim_eval_perf)

扩展性

SimplerEnv的设计注重扩展性,允许研究人员轻松添加新的策略、环境和机器人:

添加新策略:
- 在simpler_env/policies/{your_new_policy}中实现新的策略推理脚本
- 修改simpler_env/main_inference.py以支持新策略
- 在scripts/中添加自定义配置的策略推理脚本
添加新环境和机器人:
- SimplerEnv提供了详细的指南,帮助用户添加新的真实到仿真评估环境和机器人
- 包括资产处理、系统识别、环境构建等步骤的说明

这种灵活性使SimplerEnv成为一个强大的平台,可以适应各种研究需求和新兴的机器人技术。

结论

SimplerEnv为机器人学习研究提供了一个强大、灵活的评估框架。通过结合真实世界的图像和先进的仿真技术,它为研究人员提供了一种高效、可扩展的方法来评估机器人操作策略。SimplerEnv的主要优势包括:

多样化的评估环境和任务
支持多种机器人平台和先进策略
创新的视觉匹配和变体聚合评估方法
良好的扩展性,支持添加新的策略、环境和机器人
提供与真实世界性能对比的量化指标

随着机器人学习领域的不断发展,SimplerEnv将继续发挥重要作用,帮助研究人员开发和评估更加先进、通用的机器人操作策略。它不仅提高了评估的效率和可重复性,还为缩小仿真和真实世界之间的差距提供了宝贵的工具。

研究人员和开发者可以利用SimplerEnv来:

快速评估和比较不同的机器人操作策略
研究策略在各种环境变体中的表现
开发新的仿真到真实世界的迁移技术
探索视觉匹配和环境变体对策略性能的影响

通过持续的社区贡献和改进,SimplerEnv有望成为机器人学习研究中不可或缺的工具,推动这一领域向更高效、更可靠的方向发展。