250美元机器人手臂的模仿学习
本仓库包含了Action Chunking Transformer的重新改编版本,适用于这种低成本机器人设计(250美元)。
我们分享这个仓库是为了让任何人(包括非专业人士)都能在进行几次遥操作演示后训练机器人策略。
视频中的分类任务是在RTX 3080上通过不到30次演示进行训练的,耗时不到30分钟。
https://github.com/Shaka-Labs/ACT/assets/45405956/83c05915-7442-49a4-905a-273fe35e84ee
AI训练
设置
创建conda环境
conda create --name act python=3.9
conda activate act
安装torch(以下是我们使用的版本供参考)
conda install pytorch==1.13.1 torchvision==0.14.1
现在你可以安装所需的依赖:
pip install -r requirements.txt
在config/config.py
中找到TASK_CONFIG
,更改连接主从机器人到你电脑的端口路径。
在通过遥操作收集数据时,你还需要将摄像头连接到电脑并对准机器人。你可以在配置中更改摄像头端口(默认设置为0)。重要的是摄像头不要移动,否则策略评估可能会失败。
数据收集
要收集数据,只需运行:
python record_episodes.py --task sort
你可以定义正在执行的任务名称,对应的事件将被存储在data/<task>
中。你还可以在运行脚本时通过传递参数--num_episodes 1
来选择要收集的事件数量(默认设置为1)。熟悉后你可以轻松连续完成20个任务。
打开电脑音量——当你听到"Go"时开始记录每个事件的数据,听到"Stop"时停止。
训练策略
我们稍微重新调整了Action Chunking Transformer以适应我们的设置。要开始训练,只需运行:
python train.py --task sort
策略将被保存在checkpoints/<task>
中。
评估策略
确保保持与收集数据时相同的设置。要评估策略,只需运行:
python evaluate.py --task sort