Open-oasis项目是由Decart和Etched合作开发的一个交互式世界模型。该项目基于扩散变换器技术,能够通过用户的键盘输入,以自回归的方式生成游戏画面。open-oasis项目特别发布了Oasis 500M模型的权重,这是该模型的缩小版本,并提供用于动作条件帧生成的推理代码。
项目的安装和使用非常简单。首先,用户可以通过git命令克隆项目的代码库,然后按照项目目录中的说明安装PyTorch和其他所需的依赖。安装完成后,通过huggingface-cli工具下载模型权重。这些权重文件包括DiT检查点和ViT VAE检查点。
项目附带的基础推理脚本,可以从视频中加载提示帧,并基于用户指定的动作生成附加的帧。生成的视频会被保存为名为video.mp4
的文件,用户可以通过更换脚本中的.mp4
输入文件来尝试不同的环境。
这个项目的一个亮点是其在线直播演示,用户可以体验到这一模型的最强版本。有关更多详情,用户可以访问项目的联合博客,有关模型的实用信息和示例展示都可以在此找到。该项目的初始化版本通过展示其生成能力,生动地为用户呈现了一种创新的生成游戏情景的方式。