SEINE - 短视频到长视频生成的SEINE模型，支持生成过渡效果和视频预测

项目介绍

SEINE 项目概述

SEINE 是一个创新的视频扩散模型，专注于生成由短视频过渡到长视频的生成性转换和预测。它是视频生成系统 Vchitect 的一部分，旨在提供高质量的视频生成和转换能力。此外，SEINE 还与文本到视频（T2V）框架 LaVie 有合作。该项目在 ICLR 2024 上首次亮相，展示了其在生成视频方面的强大潜力。

环境准备和安装

要开始使用 SEINE，首先需要设置一个兼容的 Python 环境。用户可以通过以下命令立即创建一个名为 seine 的虚拟环境：

conda create -n seine python==3.9.16
conda activate seine
pip install -r requirement.txt

下载模型

SEINE 的基础是稳定扩散模型 v1.4。用户需要下载该版本的模型并将其存放在名为 pretrained 的目录中。此外，还需下载 SEINE 的模型检查点，并同样存放在 pretrained 目录中。这一准备步骤确保各项功能能正常运行。目录结构应如以下所示：

├── pretrained
│   ├── seine.pt
│   ├── stable-diffusion-v1-4
│   │   ├── ...
└── └── ├── ...
        ├── ...

使用方法

I2V 推断

SEINE 提供了将图像转换为视频的能力，过程可以通过以下命令实现：

python sample_scripts/with_mask_sample.py --config configs/sample_i2v.yaml

输出的视频将保存到 ./results/i2v 目录下。用户可以通过修改 ./configs/sample_i2v.yaml 配置文件调整生成条件，比如修改模型的检查点、视频内容的文本提示和输入图像的路径。

转换推断

SEINE 还支持场景转换功能，通过以下命令生成转换视频：

python sample_scripts/with_mask_sample.py --config configs/sample_transition.yaml

生成的视频保存在 ./results/transition 目录。

项目成果展示

SEINE 项目在桌面上展示了令人印象深刻的 I2V 和转换结果。在 I2V 结果中，系统能够将静态输入图像转换成动态视频。在转换结果中，SEINE 展示了其平滑的视频过渡能力，从一个场景到另一个场景的转换更加自然。

免责声明

SEINE 项目的开发者声明对用户生成内容不承担责任。模型未经训练来逼真地代表实际人物或事件，因此超出其能力范围的使用是不被建议的。禁止利用模型生成色情、暴力、以及有害内容。用户须为其行为负责，须合法和道德地使用生成模型。

联系方式

开发团队的联系人信息如下：

陈心远: chenxinyuan@pjlab.org.cn
王耀辉: wangyaohui@pjlab.org.cn

致谢

SEINE 项目受益于 LaVie、diffusers 以及稳定扩散等开源项目。特别感谢所有贡献者的开放共享精神。

许可证

代码的使用遵循 Apache-2.0 许可协议，模型权重可供学术研究使用，并且允许免费的商业用途。商业许可证的申请请发送邮件至 vchitect@pjlab.org.cn。