#机器人操作
se(3)-TrackNet: 基于合成域图像残差校准的数据驱动6D姿态跟踪
ravens
Ravens项目提供了一系列在PyBullet中模拟的任务,专注于学习基于视觉的机器人抓取与放置操作。项目包含一个类似Gym的API和10个桌面排布任务,每个任务包括专家演示脚本和奖励函数,用于模仿学习和强化学习。该项目展示了Transporter Network的效率,通过重新排列深度特征来推断视觉输入的空间位移,从堆叠积木到处理变形绳索,学习速度和推广能力均优于基准方法。
iros20-6d-pose-tracking
se(3)-TrackNet通过校准合成图像残差,实现视频序列中的6D姿态跟踪,适用领域包括机器人操控和增强现实。其神经网络架构有效减少域迁移,并采用Lie Algebra实现三维定向表示,即使仅使用合成数据训练也能在真实图像中工作。研究表明,在遮挡条件下,该方法提供稳定和精准的姿态估计,计算效率高达90.9Hz。
awesome-diffusion-model-in-rl
本项目汇总了强化学习领域应用扩散模型的最新研究论文,涵盖离线RL、机器人控制、轨迹规划等多个方向。持续追踪并整理扩散强化学习的前沿进展,为研究人员提供全面的参考资源。每篇论文均附有概述、代码链接和实验环境等详细信息,方便读者深入了解。
umi-on-legs
UMI on Legs项目为四足机器人与机械臂结合提供了可扩展的操作技能框架。该框架整合真实人类示范和模拟训练的全身控制器,实现视觉运动策略在四足机器人上的应用。项目涵盖全身控制器模拟训练、实际部署、iPhone里程计应用、UMI真实环境类和ARX5 SDK等组件,为机器人操作研究提供综合解决方案。
ok-robot
OK-Robot是一个零样本模块化框架,集成了先进的导航和操作模型,用于执行家庭环境中的取放任务。该项目在10个真实家庭中测试了170多个物体,成功率达58.5%。通过整合AnyGrasp抓取和VoxelMap开放词汇导航等技术,OK-Robot为家庭服务机器人研究提供了开放平台。
DRLib
DRLib是一个集成主流off-policy强化学习算法的开源库,支持HER和PER技术。基于OpenAI Spinning Up开发,提供TensorFlow和PyTorch两个版本。相比原版更易用和调试,适合机器人相关任务研究。提供详细环境配置教程。
SimplerEnv
SimplerEnv 是一个基于 SAPIEN 模拟器和 ManiSkill2 基准的开源项目,为真实机器人操作策略评估提供高效可扩展的模拟环境。它包含视觉匹配和变体聚合两种评估方法,支持 RT-1 和 Octo 等策略的测试,并允许添加新的机器人和环境。该项目旨在推动真实到模拟评估技术的发展,为机器人操作策略研究提供标准化的评估工具。
VoxPoser
VoxPoser是一个3D机器人操作轨迹合成系统,结合大型语言模型和视觉语言模型实现零样本任务执行。该项目在RLBench环境中实现,无需训练数据即可生成复杂操作轨迹。系统通过语言模型程序(LMPs)递归生成代码,分解指令并为子任务组合价值图。VoxPoser包含接口、规划器和控制器等核心组件,用于规划和执行机器人操作任务。
robohive
RoboHive是基于MuJoCo物理引擎的机器人学习环境集合,包含手部操作、机械臂控制、肌肉骨骼模拟等多个任务套件。支持OpenAI Gym接口,兼容主流强化学习框架。环境丰富多样,安装使用简便,适合各类机器人学习研究。