一个近乎真实照片级的可交互框架,用于具身AI代理
🏡 环境
iTHOR
|
ManipulaTHOR
|
RoboTHOR
|
一个高级交互框架,有助于具身常识推理研究。 | 一个中级交互框架,便于使用机械臂进行物体的视觉操作。 | 一个框架,通过在物理世界中的模拟场景对应集合,促进仿真到现实的研究。 |
🌍 特性
🏡 场景。 200多个定制高质量场景。可以在我们的演示页面探索这些场景。我们正在努力快速扩展可用场景的数量,并在每个场景内进行域随机化。
🪑 物体。 超过100种物体类型的2600多个定制家居物品。每个物体都有大量注释,这使得近乎真实的物理交互成为可能。
🤖 代理类型。 支持多代理,定制的LoCoBot代理,受Kinova 3启发的机器人操作代理,以及无人机代理。
🦾 动作。 200多种动作,有助于在广泛的基于交互和导航的具身AI任务中进行研究。
🖼 图像。 对多种图像模态和相机调整提供一流支持。一些模态包括以自我为中心的RGB图像、实例分割、语义分割、深度帧、法线帧、俯视帧、正交投影和第三人称相机帧。用户还可以轻松更改相机属性,如图像大小和视场。
🗺 元数据。 在环境中的每一步之后,都有大量关于环境状态的感知数据可用。这些信息可用于构建高度复杂的自定义奖励函数。
📰 最新公告
日期 | 公告 | |||||||||||||||||||||||||||||||
2021年5月 |
现已支持RandomizeMaterials 功能!它能在每个场景中实现大量逼真的域随机化。请在演示中尝试使用。
| |||||||||||||||||||||||||||||||
2021年4月 | 我们很高兴发布ManipulaTHOR,这是AI2-THOR框架内的一个环境,可以使用机械臂进行物体的视觉操作。请查看完整的3.0.0版本发布说明。 | |||||||||||||||||||||||||||||||
2021年4月 |
现已支持RandomizeLighting 功能!它包含许多可调参数,允许对其效果进行广泛控制。请在演示中尝试使用! | |||||||||||||||||||||||||||||||
2021年2月 | 我们很高兴主办AI2-THOR重排挑战赛、RoboTHOR物体导航挑战赛和ALFRED挑战赛,这些挑战赛与CVPR 2021的具身人工智能研讨会同期举行。 | |||||||||||||||||||||||||||||||
2021年2月 | AI2-THOR v2.7.0宣布对AI2-THOR进行了多项重大加速!在这里了解更多信息。 | |||||||||||||||||||||||||||||||
2020年6月 | 我们发布了🐳 AI2-THOR Docker,这是一个简化在Docker中运行AI2-THOR的迷你框架。 | |||||||||||||||||||||||||||||||
2020年4月 | 框架的2.4.0版本更新已经发布。现在,所有不是环境结构明确组成部分的模拟对象都可以通过物理交互进行移动。新增了多种对象类型和许多新动作。请查看完整的2.4.0版本发布说明。 | |||||||||||||||||||||||||||||||
2020年2月 | AI2-THOR现在包括两个框架:iTHOR和RoboTHOR。iTHOR包括交互式对象和场景,而RoboTHOR由模拟场景及其对应的真实世界场景组成。 | |||||||||||||||||||||||||||||||
2019年9月 | 框架的2.1.0版本更新已经添加。新增了多种对象类型和新的初始化动作。改进了所有场景中的分割图像生成。 | |||||||||||||||||||||||||||||||
2019年6月 |
AI2-THOR框架的2.0版本更新现已上线!我们将动作和物体状态数量增加了四倍以上,添加了新的动作,可以实现视觉上明显的状态变化,如电子设备的屏幕破损、窗户破碎、易碎餐具、可装液体的容器、可清洁的餐具、凌乱和整理过的床铺等等!除了这些新的状态变化,物体还具有更多物理属性,如温度、质量和显著材料,这些都会在物体元数据中反馈。为了结合所有这些新属性和动作,现在可以通过新的上下文敏感交互自动改变物体状态。这包括诸如将脏碗放在流动的水槽下清洗、将马克杯放入咖啡机自动注入咖啡、将点燃的蜡烛放入水中熄灭,或将物体放在正在工作的炉灶上或冰箱中改变其温度等交互。请查看完整的2.0版本发布说明,了解所有变更和新功能的详细信息。
## 💻 安装
使用Google ColabAI2-THOR Colab可以在Google Colab云端免费运行AI2-THOR。在Google Colab中运行AI2-THOR使得探索其功能变得极其简单,无需在本地设置AI2-THOR。 使用pip
使用conda
使用Docker可以使用🐳 AI2-THOR Docker,它添加了运行X服务器的配置,供Unity 3D渲染场景使用。 最小示例安装AI2-THOR后,你可以运行以下最小示例来验证一切是否正常工作:
系统要求
💬 支持问题:如果你对AI2-THOR有任何问题,请在我们的GitHub讨论页面上提问。 问题报告:如果你在使用AI2-THOR时遇到任何问题,请在GitHub上提交问题。 🏫 了解更多
📒 引用如果你使用AI2-THOR或iTHOR场景,请引用原始的AI2-THOR论文:
如果你使用🏘️ ProcTHOR或程序生成的场景,请引用以下论文:
如果你使用ManipulaTHOR代理,请引用以下论文:
如果你使用RoboTHOR场景,请引用以下论文:
👋 我们的团队AI2-THOR是由艾伦人工智能研究所(AI2)的PRIOR团队开发的一个开源项目。AI2是一个非营利研究机构,其使命是通过高影响力的人工智能研究和工程来为人类做出贡献。 |