Instruct2Act
Instruct2Act是一种创新框架,通过大语言模型将多模态指令转化为机器人操作。该框架生成Python程序,有效结合感知、规划和动作环节,将复杂指令转化为精准策略代码。在不同场景尤其是桌面操作领域,框架的零样本方法表现优异,超越了许多现有的学习策略。