#机器人操控

Instruct2Act是一种创新框架，通过大语言模型将多模态指令转化为机器人操作。该框架生成Python程序，有效结合感知、规划和动作环节，将复杂指令转化为精准策略代码。在不同场景尤其是桌面操作领域，框架的零样本方法表现优异，超越了许多现有的学习策略。

CALVIN是一个开源的模拟基准，用于学习长时间的语言条件任务，旨在开发能够通过人类语言指令和车载传感器完成多种机器人操作任务的代理。该项目支持复杂任务序列、动作空间和语言规格，提供灵活的传感器配置详细评估协议，并通过多种难度模式提高测试效能。项目资源包括训练模型、评估脚本和数据下载选项，是机器人视觉与语言研究的理想选择。