#多模态指令

Instruct2Act是一种创新框架，通过大语言模型将多模态指令转化为机器人操作。该框架生成Python程序，有效结合感知、规划和动作环节，将复杂指令转化为精准策略代码。在不同场景尤其是桌面操作领域，框架的零样本方法表现优异，超越了许多现有的学习策略。