Github
Huggingface
论文项目介绍：stable-video-diffusion-img2vid-xt-1-1
项目背景
Stable Video Diffusion (SVD) 1.1 是一个图像到视频的生成模型，由 Stability AI 开发和资助。该模型使用扩散技术，从输入的静态图像生成短视频。这种转换为研究和艺术创造提供了新的可能性。
模型详解
模型描述
Stable Video Diffusion 1.1 是一种潜在的扩散模型，专门用于从图像生成视频片段。此模型经过训练，可以从一个同样分辨率为1024x576的图像生成25帧的视频。为提高输出的一致性，不必调整超参数，该模型在6FPS固定条件和Motion Bucket Id 127上进行微调。这些条件虽然可调节，但在此版本中性能可能会有所不同。
- 开发公司: Stability AI
- 资金支持: 由 Stability AI 资助
- 模型类型: 图像生成视频的生成模型
- 微调自模型: SVD Image-to-Video [25 frames]
模型来源
为了研究目的，推荐使用 Stability AI 的 generative-models GitHub 仓库，该仓库实现了最流行的扩散框架。
使用指南
直接使用
该模型专为研究目的而设计，可用于以下领域：
- 研究生成模型的潜力。
- 探索生成模型在安全部署中的应用，尤其是防止生成有害内容。
- 研究生成模型的局限性和偏差。
- 艺术品生成和设计领域的应用。
- 教育和创造性工具中的应用。
非预期使用
模型并非用于生成实际人物或事件的真实表示。因此，利用该模型生成此类内容并不在其能力范围之内。任何使用方法均不得违反 Stability AI 的可接受使用政策。
局限性和偏见
局限性
- 生成的视频较短（不超过4秒），且无法达成完美的照片真实感。
- 视频可能缺乏明显的运动，或者只有非常缓慢的镜头移动。
- 该模型无法通过文本进行控制或生成清晰的文本。
- 对于人脸及人物的生成效果欠佳。
- 模型的自编码过程存在损耗。
建议
该模型主要用于研究，不建议用于商业或生产环境。
如何开始使用
可以访问 Stability AI 的 GitHub 仓库 查看详细的教程和代码实现。
