StreamingT2V

本仓库是 StreamingT2V 的官方实现。

StreamingT2V：一致、动态且可扩展的长视频文本生成技术
Roberto Henschel*, Levon Khachatryan*, Daniil Hayrapetyan*, Hayk Poghosyan, Vahram Tadevosyan, Zhangyang Wang, Shant Navasardyan, Humphrey Shi

StreamingT2V 是一种先进的自回归技术，能够创建具有丰富运动动态且没有停滞的长视频。它确保了整个视频的时间一致性，与描述性文本紧密对齐，并保持高帧级图像质量。我们的演示包括成功生成长达 1200 帧、时长 2 分钟的视频示例，并可进一步延长。重要的是，StreamingT2V 的有效性不受所使用的特定文本生成视频模型的限制，这表明基础模型的改进可能会产生更高质量的视频。

新闻

• [2024/03/21] StreamingT2V 论文发布！
• [2024/04/05] 代码和模型发布！
• [2024/04/06] 我们的 Hugging Face 演示第一版发布！

设置

1. 克隆此仓库并进入：

git clone https://github.com/Picsart-AI-Research/StreamingT2V.git
cd StreamingT2V/

2. 使用Python 3.10和CUDA >= 11.6安装依赖项

conda create -n st2v python=3.10
conda activate st2v
pip install -r requirements.txt

3. (可选) 如果系统中缺少FFmpeg，请安装

conda install conda-forge::ffmpeg

4. 从HF下载权重并将它们放入t2v_enhanced/checkpoints目录。

推理

文本到视频

cd t2v_enhanced
python inference.py --prompt="一只猫在街上奔跑"

要使用其他基础模型，请添加--base_model=AnimateDiff参数。使用python inference.py --help查看更多选项。

图像到视频

cd t2v_enhanced
python inference.py --image=../__assets__/demo/fish.jpg --base_model=SVD

推理时间

以ModelscopeT2V为基础模型

以AnimateDiff为基础模型

以SVD为基础模型

所有测量均使用NVIDIA A100 (80 GB) GPU进行。当帧数超过80时，采用随机混合。对于随机混合，chunk_size和overlap_size的值分别设为112和32。

Gradio

相同功能也可作为gradio演示使用

cd t2v_enhanced
python gradio_demo.py

结果

详细结果可在项目页面找到。

许可证

我们的代码以CreativeML Open RAIL-M许可证发布。

我们在演示中包含了ModelscopeT2V、AnimateDiff和SVD，用于研究目的并展示StreamingT2V框架包含不同T2V/I2V模型的灵活性。对于这些组件的商业使用，请参考它们的原始许可证。

BibTeX

如果您在研究中使用了我们的工作，请引用我们的出版物：

@article{henschel2024streamingt2v,
  title={StreamingT2V: 从文本生成一致、动态和可扩展的长视频},
  author={Henschel, Roberto 和 Khachatryan, Levon 和 Hayrapetyan, Daniil 和 Poghosyan, Hayk 和 Tadevosyan, Vahram 和 Wang, Zhangyang 和 Navasardyan, Shant 和 Shi, Humphrey},
  journal={arXiv预印本 arXiv:2403.14773},
  year={2024}
}