简要总结: 一种用于潜在生成视频模型的视频VAE,可与预训练的图像和视频模型兼容,如SD 2.1和SVD
新闻
使用方法
依赖
- Python >= 3.8 (推荐使用Anaconda)
- PyTorch >= 1.13.0
- NVIDIA GPU + CUDA
视频重建
从Hugging Face下载模型权重
python3 cvvae_inference_video.py \
--vae_path 模型路径 \
--video_path 输入视频路径 \
--save_path 视频保存路径 \
--height 高度 \
--width 宽度
😉 引用
@article{zhao2024cvvae,
title={CV-VAE: A Compatible Video VAE for Latent Generative Video Models},
author={Zhao, Sijie and Zhang, Yong and Cun, Xiaodong and Yang, Shaoshu and Niu, Muyao and Li, Xiaoyu and Hu, Wenbo and Shan, Ying},
journal={https://arxiv.org/abs/2405.20279},
year={2024}
}