GIFfusion 💥

Giffusion是一个使用Stable Diffusion生成GIF和视频的Web界面。

运行方法

在Colab中

打开上面链接的Colab笔记本，按照说明启动Giffusion界面

在本地机器上

克隆Giffusion仓库

git clone https://github.com/DN6/giffusion.git && cd giffusion

安装依赖

pip install -r requirements.txt

启动应用

python app.py

功能

保存和加载会话

Giffusion使用Hugging Face Hub保存输出生成和设置。要保存和加载会话，首先需要使用huggingface-cli login设置Hugging Face访问令牌。

设置完成后，可以通过点击会话设置中的保存会话按钮来保存会话。这将在Hub上创建一个数据集仓库，并将设置和输出生成保存到一个随机生成名称的文件夹中。您也可以手动设置Repo ID和会话名称，以将会话保存到特定仓库。

加载会话的方式类似。只需提供要加载的会话的Repo ID和会话名称，然后点击加载会话按钮。您可以使用下拉选择器筛选界面中各个组件的设置。

自带管道

Giffusion支持使用Diffusers库中的任何管道和兼容的检查点。只需在管道设置中粘贴检查点名称和管道名称即可。

ControlNet支持

Giffusion允许使用StableDiffusionControlNetPipeline。只需粘贴要在管道中使用的ControlNet检查点即可加载。

还支持MultiControlnet。只需粘贴Hugging Face Hub中的模型检查点路径列表

lllyasviel/control_v11p_sd15_softedge, lllyasviel/control_v11f1p_sd15_depth

预处理说明： 使用Controlnets时，需要在将输入用作模型的条件信号之前对其进行预处理。Controlnet预处理设置允许您选择一组预处理选项来应用于图像。请确保按照Controlnet模型的顺序选择它们。例如，对于上面的代码片段，您需要在深度预处理器之前选择软边缘预处理器。如果在MultiControlnet设置中使用不需要处理的Controlnet模型，还提供了无处理选项。

自定义管道支持

您也可以在Giffusion中使用自己的自定义管道。只需在自定义管道部分粘贴管道文件的路径即可。管道文件必须遵循类似于Diffusers中的社区管道的格式。

Compel提示权重支持

现在通过Compel生成提示嵌入，并支持此处概述的权重语法。

多帧生成

Giffusion遵循类似于Deforum Art的Stable Diffusion笔记本中使用的提示语法

0: 一张柯基犬的图片
60: 一张狮子的图片

提示的第一部分表示关键帧编号，冒号后的文本是模型用来生成图像的提示。 在上面的例子中，我们要求模型在第0帧生成一只柯基犬的图片，在第60帧生成一头狮子的图片。那么，这两个关键帧之间的所有图像是如何生成的呢？

你可能还记得，扩散模型的工作原理是将噪声转化为图像。Stable Diffusion将噪声张量转换为潜在嵌入，以在运行扩散过程时节省时间和内存。这个潜在嵌入被输入到解码器中以生成图像。

我们模型的输入是噪声张量和文本嵌入张量。以我们的关键帧作为起点和终点，我们可以通过插值这些张量来生成这些帧之间的图像。

灵感按钮

创建提示可能具有挑战性。点击"给我一些灵感"按钮可以自动为你生成提示。

你甚至可以提供一个主题列表，让灵感按钮用作起点。

多媒体支持

使用额外的媒体输入来增强图像生成过程

重新采样输出生成

你可以重新采样在输出标签中创建的视频和GIF，并将它们发送到图像输入或视频输入。

保存到 Comet

GIFfusion 还支持将提示词、生成的 GIF/视频、图像和设置保存到 Comet，这样你就可以跟踪你的生成实验。

点击这里查看一个包含我的一些 GIF 的示例项目!

扩散设置

本节涵盖扩散设置下拉菜单中的所有组件。

1. 使用固定潜在向量: 在整个生成过程中为每一帧使用相同的噪声潜在向量。如果你只想在提示词嵌入之间进行插值而保持噪声潜在向量不变，这个选项会很有用。

2. 使用提示词嵌入: 默认情况下，Giffusion 将你的提示词转换为嵌入，并在帧之间的提示词嵌入之间进行插值。如果你禁用此选项，Giffusion 将会在帧之间前向填充文本提示词。如果你使用 ComposableDiffusion 管道或想直接使用管道的提示词嵌入功能，请禁用此选项。

3. 数字种子: 用于噪声潜在向量生成过程的种子。如果没有设置 使用固定潜在向量，这个种子将用于生成一个为每个关键帧提供唯一种子的计划。

4. 迭代步数: 在生成过程中使用的步数。

5. 无分类器引导比例: 更高的引导比例会鼓励生成与文本提示密切相关的图像，通常以降低图像质量为代价。

6. 图像强度计划: 表示对参考图像进行变换的程度。必须在 0 和 1 之间。较大的强度值将执行更多的去噪步骤。这仅适用于 Img2Img 类型的管道。计划遵循与运动输入类似的格式。例如，0:(0.5), 10:(0.7) 将在第 0 帧到第 10 帧之间将强度值从 0.5 增加到 0.7。

7. 使用默认管道调度器: 选择使用已预先配置好的管道调度器。

8. 调度器: 调度器接收训练模型的输出、扩散过程正在迭代的样本和时间步长，以返回去噪后的样本。不同的调度器需要不同数量的迭代步骤来产生好的结果。使用此选择器来尝试不同的调度器和管道。

9. 调度器参数: 传递给所选调度器的额外关键字参数。

10. 批量大小: 设置生成过程中使用的批量大小。如果你有访问内存更大的 GPU 的权限，可以增加批量大小来提高生成过程的速度。

11. 图像高度: 默认情况下，生成的图像高度为 512 像素。某些模型和管道支持生成更高分辨率的图像。调整此设置以适应这些配置。如果提供了图像或视频输入，高度将设置为原始输入的高度。

12. 图像宽度: 默认情况下，生成的图像宽度为 512 像素。某些模型和管道支持生成更高分辨率的图像。调整此设置以适应这些配置。如果提供了图像或视频输入，宽度将设置为原始输入的宽度。

13. 潜在通道数: 这用于设置噪声潜在向量的通道维度。某些管道，例如 InstructPix2Pix，要求潜在通道数与 Unet 模型的输入通道数不同。默认值 4 应该适用于大多数管道和模型。

14. 额外管道参数: Diffuser 管道根据任务支持各种参数。使用此文本框输入一个字典值，该值将作为关键字参数传递给管道对象。例如，将图像引导比例参数传递给 InstructPix2PixPipeline。

动画设置

插值类型

Giffusion 通过首先为提供的关键帧生成提示词嵌入和初始潜在向量，然后使用球面插值来插入中间值来生成动画。控制插值值之间变化率的计划默认为 线性。

你可以使用此下拉菜单将此计划更改为 正弦 或 曲线。

正弦:

使用 正弦 计划将在你的起始和结束潜在向量和嵌入之间使用以下函数进行插值 np.sin(np.pi * frequency) ** 2，默认频率值为 1.0。这将产生一个单一振荡，使生成的输出从你的起始提示词移动到结束提示词，然后再返回。将频率加倍会使振荡次数加倍。

正弦插值还支持使用多个频率。在 插值参数 中输入 1.0, 2.0 将组合这两个频率的正弦波。

0: (0.0), 50: (1.0), 60: (0.5)

0: (1.05),1: (1.05),2: (1.05),3: (1.05),4: (1.05),5: (1.05),6: (1.05),7: (1.05),8: (1.05),9: (1.05),10: (1.05)

0: (10.0),1: (10.0),2: (10.0),3: (10.0),4: (10.0),5: (10.0),6: (10.0),7: (10.0),8: (10.0),9: (10.0),10: (10.0)

0: (5.0),1: (5.0),2: (5.0),3: (5.0),4: (5.0),5: (5.0),6: (5.0),7: (5.0),8: (5.0),9: (5.0),10: (5.0)

# 计算当前潜在编码相对于参考潜在编码的梯度
for step in range(coherence_steps):
    loss = (latents - reference_latent).pow(2).mean()
    cond_grad = torch.autograd.grad(loss, latents)[0]

    latents = latents - (coherence_scale * cond_grad)

# 根据一致性alpha值更新参考潜在编码
reference_latent = (coherence_alpha * latents) + (
    1.0 - coherence_alpha
) * reference_latent