访问官网
Github
Huggingface
文档
论文下面是根据提供的源文本,对 generative-models 项目做的详细介绍文章:
generative-models 项目介绍
generative-models 是由 Stability AI 开发的生成模型项目,包含了多个先进的生成式 AI 模型。该项目旨在推动生成 AI 技术的发展,为研究人员和开发者提供强大的工具。
主要模型
该项目包含以下几个主要模型:
Stable Video 4D (SV4D)
SV4D 是一个视频到 4D 的扩散模型,用于新视角视频合成。它可以从单个视频输入生成多个视角的视频序列,实现了对物体进行 360 度环绕视角的视频生成。
SV3D
SV3D 是一个图像到视频的模型,用于新多视角合成。它可以从单张图片生成多个视角的视频序列,有两个变体:
- SV3D_u: 基于单张图片输入生成轨道视频,无需相机参数条件。
- SV3D_p: 在 SV3D_u 基础上扩展,支持单张图片和轨道视图输入,可以沿指定相机路径创建 3D 视频。
Stable Video Diffusion
这是一个图像到视频的模型,包含两个版本:
- SVD: 可以生成 14 帧 576x1024 分辨率的视频。
- SVD-XT: 在 SVD 基础上微调,可以生成 25 帧视频。
SDXL
SDXL 是一个强大的文本到图像生成模型,包含:
- SDXL-base: 基础模型,支持多种宽高比的 1024x1024 图像生成。
- SDXL-refiner: 精炼模型,用于图像到图像的优化。
SD-Turbo 和 SDXL-Turbo
这两个是经过蒸馏的快速文本到图像模型,可以实现闪电般的生成速度。
项目特点
-
模块化设计: 项目采用基于配置驱动的方法,通过 YAML 配置文件定义和组合各个子模块。
-
使用 PyTorch Lightning: 训练框架采用 PyTorch Lightning,但也易于与其他训练框架结合。
-
统一的条件输入处理: 使用 GeneralConditioner 类处理各种类型的条件输入。
-
灵活的采样器和引导器: 将采样器和引导器(如无分类器引导)分离,增强了灵活性。
-
采用"去噪器框架": 支持离散时间和连续时间模型的训练和推理。
-
开放许可: 多个模型采用开放许可发布,方便研究使用。
使用方法
项目提供了详细的安装说明,包括环境配置和依赖安装。对于推理,提供了基于 Streamlit 的演示界面,支持文本到图像和图像到图像的采样。
对于训练,项目提供了示例配置文件,可以通过组合不同的配置文件来启动训练。
总结
generative-models 项目集成了多个前沿的生成式 AI 模型,涵盖了图像、视频等多个领域。其模块化的设计和丰富的功能使其成为生成 AI 研究和应用的重要工具。无论是想要使用预训练模型还是进行自定义训练,该项目都提供了便利的接口和详尽的文档支持。
