Project Icon

ai2thor

AI智能体交互研究的高仿真仿真环境

AI2-THOR是一个高仿真的交互式AI研究框架。它包含200多个精细场景、2600多个家居物品和200多种交互动作,支持多类智能体和图像模态。框架具备逼真的物理交互,适用于导航和操作任务研究。同时提供丰富元数据和自定义奖励功能。AI2-THOR为体现式AI研究提供了功能全面的仿真环境。

一个近乎真实照片级的可交互框架,用于具身AI代理

GitHub发布 文档 许可证 下载量

🏡 环境

iTHOR ManipulaTHOR RoboTHOR
一个高级交互框架,有助于具身常识推理研究。 一个中级交互框架,便于使用机械臂进行物体的视觉操作。 一个框架,通过在物理世界中的模拟场景对应集合,促进仿真到现实的研究。

🌍 特性

🏡 场景。 200多个定制高质量场景。可以在我们的演示页面探索这些场景。我们正在努力快速扩展可用场景的数量,并在每个场景内进行域随机化。

🪑 物体。 超过100种物体类型的2600多个定制家居物品。每个物体都有大量注释,这使得近乎真实的物理交互成为可能。

🤖 代理类型。 支持多代理,定制的LoCoBot代理,受Kinova 3启发的机器人操作代理,以及无人机代理。

🦾 动作。 200多种动作,有助于在广泛的基于交互和导航的具身AI任务中进行研究。

🖼 图像。 对多种图像模态和相机调整提供一流支持。一些模态包括以自我为中心的RGB图像、实例分割、语义分割、深度帧、法线帧、俯视帧、正交投影和第三人称相机帧。用户还可以轻松更改相机属性,如图像大小和视场。

🗺 元数据。 在环境中的每一步之后,都有大量关于环境状态的感知数据可用。这些信息可用于构建高度复杂的自定义奖励函数。

📰 最新公告

日期 公告
2021年5月 现已支持RandomizeMaterials功能!它能在每个场景中实现大量逼真的域随机化。请在演示中尝试使用。
2021年4月 我们很高兴发布ManipulaTHOR,这是AI2-THOR框架内的一个环境,可以使用机械臂进行物体的视觉操作。请查看完整的3.0.0版本发布说明
2021年4月 现已支持RandomizeLighting功能!它包含许多可调参数,允许对其效果进行广泛控制。请在演示中尝试使用!

2021年2月 我们很高兴主办AI2-THOR重排挑战赛RoboTHOR物体导航挑战赛ALFRED挑战赛,这些挑战赛与CVPR 2021的具身人工智能研讨会同期举行。
2021年2月 AI2-THOR v2.7.0宣布对AI2-THOR进行了多项重大加速!在这里了解更多信息。
2020年6月 我们发布了🐳 AI2-THOR Docker,这是一个简化在Docker中运行AI2-THOR的迷你框架。
2020年4月 框架的2.4.0版本更新已经发布。现在,所有不是环境结构明确组成部分的模拟对象都可以通过物理交互进行移动。新增了多种对象类型和许多新动作。请查看完整的2.4.0版本发布说明
2020年2月 AI2-THOR现在包括两个框架:iTHORRoboTHOR。iTHOR包括交互式对象和场景,而RoboTHOR由模拟场景及其对应的真实世界场景组成。
2019年9月 框架的2.1.0版本更新已经添加。新增了多种对象类型和新的初始化动作。改进了所有场景中的分割图像生成。
2019年6月 AI2-THOR框架的2.0版本更新现已上线!我们将动作和物体状态数量增加了四倍以上,添加了新的动作,可以实现视觉上明显的状态变化,如电子设备的屏幕破损、窗户破碎、易碎餐具、可装液体的容器、可清洁的餐具、凌乱和整理过的床铺等等!除了这些新的状态变化,物体还具有更多物理属性,如温度、质量和显著材料,这些都会在物体元数据中反馈。为了结合所有这些新属性和动作,现在可以通过新的上下文敏感交互自动改变物体状态。这包括诸如将脏碗放在流动的水槽下清洗、将马克杯放入咖啡机自动注入咖啡、将点燃的蜡烛放入水中熄灭,或将物体放在正在工作的炉灶上或冰箱中改变其温度等交互。请查看完整的2.0版本发布说明,了解所有变更和新功能的详细信息。 ## 💻 安装

使用Google Colab

AI2-THOR Colab可以在Google Colab云端免费运行AI2-THOR。在Google Colab中运行AI2-THOR使得探索其功能变得极其简单,无需在本地设置AI2-THOR。

使用pip

pip install ai2thor

使用conda

conda install -c conda-forge ai2thor

使用Docker

可以使用🐳 AI2-THOR Docker,它添加了运行X服务器的配置,供Unity 3D渲染场景使用。

最小示例

安装AI2-THOR后,你可以运行以下最小示例来验证一切是否正常工作:

from ai2thor.controller import Controller
controller = Controller(scene="FloorPlan10")
event = controller.step(action="RotateRight")
metadata = event.metadata
print(event, event.metadata.keys())

系统要求

组件要求
操作系统Mac OS X 10.9+,Ubuntu 14.04+
显卡DX9(着色器模型3.0)或具有9.3功能级别的DX11
CPU支持SSE2指令集
Python3.5+版本
Linux启用GLX模块的X服务器

💬 支持

问题:如果你对AI2-THOR有任何问题,请在我们的GitHub讨论页面上提问。

问题报告:如果你在使用AI2-THOR时遇到任何问题,请在GitHub上提交问题

🏫 了解更多

部分描述
演示在浏览器中实时交互和体验AI2-THOR
iTHOR文档iTHOR环境的文档
ManipulaTHOR文档ManipulaTHOR环境的文档
RoboTHOR文档RoboTHOR环境的文档
AI2-THOR Colab使用Google Colab在云端免费运行AI2-THOR的方法
AllenAct在AI2开发的一个具身AI框架,为AI2-THOR提供一流支持
AI2-THOR Unity开发对编辑AI2-THOR后端可能有用的一系列(稀疏)笔记
AI2-THOR WebGL开发关于为Web打包AI2-THOR的文档,可能对基于注释的任务有用

📒 引用

如果你使用AI2-THOR或iTHOR场景,请引用原始的AI2-THOR论文:

@article{ai2thor,
  author={Eric Kolve and Roozbeh Mottaghi and Winson Han and
          Eli VanderBilt and Luca Weihs and Alvaro Herrasti and
          Daniel Gordon and Yuke Zhu and Abhinav Gupta and
          Ali Farhadi},
  title={{AI2-THOR: An Interactive 3D Environment for Visual AI}},
  journal={arXiv},
  year={2017}
}

如果你使用🏘️ ProcTHOR或程序生成的场景,请引用以下论文:

@inproceedings{procthor,
  author={Matt Deitke and Eli VanderBilt and Alvaro Herrasti and
          Luca Weihs and Jordi Salvador and Kiana Ehsani and
          Winson Han and Eric Kolve and Ali Farhadi and
          Aniruddha Kembhavi and Roozbeh Mottaghi},
  title={{ProcTHOR: Large-Scale Embodied AI Using Procedural Generation}},
  booktitle={NeurIPS},
  year={2022},
  note={Outstanding Paper Award}
}

如果你使用ManipulaTHOR代理,请引用以下论文:

@inproceedings{manipulathor,
  title={{ManipulaTHOR: A Framework for Visual Object Manipulation}},
  author={Kiana Ehsani and Winson Han and Alvaro Herrasti and
          Eli VanderBilt and Luca Weihs and Eric Kolve and
          Aniruddha Kembhavi and Roozbeh Mottaghi},
  booktitle={CVPR},
  year={2021}
}

如果你使用RoboTHOR场景,请引用以下论文:

@inproceedings{robothor,
  author={Matt Deitke and Winson Han and Alvaro Herrasti and
          Aniruddha Kembhavi and Eric Kolve and Roozbeh Mottaghi and
          Jordi Salvador and Dustin Schwenk and Eli VanderBilt and
          Matthew Wallingford and Luca Weihs and Mark Yatskar and
          Ali Farhadi},
  title={{RoboTHOR: An Open Simulation-to-Real Embodied AI Platform}},
  booktitle={CVPR},
  year={2020}
}

👋 我们的团队

AI2-THOR是由艾伦人工智能研究所(AI2)的PRIOR团队开发的一个开源项目。AI2是一个非营利研究机构,其使命是通过高影响力的人工智能研究和工程来为人类做出贡献。


项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号