四足行走的UMI：利用以操作为中心的全身控制器使操作策略具备移动能力

Huy Ha$^{🐶,1,2}$、高翊淮$^{🐶,1}$、傅子鹏$^1$、谭杰$^{3}$、宋书然$^{1,2}$

$^1$ 斯坦福大学，$^2$ 哥伦比亚大学，$^3$ 谷歌 DeepMind，$^🐶$ 共同第一作者

四足行走的UMI是一个结合真实世界人类示范和仿真训练全身控制器的框架，为带有机械臂的四足机器人提供了一种可扩展的操作技能方法。

最棒的是什么？你可以即插即用地将现有的视觉运动策略应用到四足机器人上，让你的操作策略具备移动能力！

这个代码库包含了全身控制器仿真训练、全身控制器实际部署、iPhone里程计iOS应用、UMI真实环境类和ARX5 SDK的源代码。我们以类似于开发过程中的方式发布了我们的代码——作为独立的子模块——希望社区能够轻松地提取他们认为有用的任何组件，并将其集成到自己的系统中。

如果您觉得这个代码库有用，请考虑引用：

@inproceedings{ha2024umionlegs,
      title={{UMI} on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers}, 
      author={Huy Ha and Yihuai Gao and Zipeng Fu and Jie Tan and Shuran Song},
      year={2024},
}

如果您有任何问题，请联系Huy Ha，邮箱：huyha [at] stanford [dot] edu，或高翊淮，邮箱：yihuai [at] stanford [dot] edu。

如果您只想在浏览论文的同时开始运行一些命令，您应该从这里开始，它会下载数据、检查点并运行全身控制器。其余的文档主要关注实际部署的设置。

🏃‍♀️ 入门
- ⚙️ 设置
- 📍 检查点和数据
- 🕹️ 运行
- 📊 评估
- 📈 曲线
🦾 通用操作接口
- 📷 数据采集
- 🛠️ 硬件指南
- 🎛️ 预处理
⚙️ 以操作为中心的全身控制器
- 🚂 训练
- 🛡️ 增强仿真到现实的鲁棒性
- 🔭 扩展
  - 🤖 更多机器人
  - 🫳 更多操作轨迹
🌍 实际部署
- 🤔 硬件选择的思考
- 📝 材料清单
- 🦾 ARX5机器人手臂SDK
- 📱 iPhone里程计
- 🖨️ 3D打印指南
- 🛠️ 组装指南
- 🛜 Unitree机器人网络设置
- 🐕 在真实机器人上部署全身控制器
📽️ 可视化

代码致谢

全身控制器仿真训练：

像现今许多其他用于控制的强化学习工作一样，我们从Nikita Rudin的PPO实现和IsaacGym的Gym环境包装器legged gym开始。感谢Nikita发布了这样一个易于修改的代码库——这对我们的社区来说是一个真正了不起的贡献。
虽然在论文的最终结果中没有使用，但我们的代码库确实包含了来自DeepWBC的修改版柏林噪声地形。要使用它，请使用env.cfg.terrain.mode=perlin运行训练。

全身控制器部署：