快速开始

潜在混合可以在几秒钟内实现令人难以置信的平滑提示过渡效果。这种方法由stable diffusion XL提供支持，通过特定的中间潜在表示混合来创建无缝过渡 - 用户可以直接在高分辨率下完全自定义过渡效果。新版本还支持SDXL Turbo，允许生成的过渡速度比通常的播放速度更快！

import torch
from diffusers import AutoPipelineForText2Image
from latentblending.blending_engine import BlendingEngine
from latentblending.diffusers_holder import DiffusersHolder

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16").to("cuda")
be = BlendingEngine(pipe)
be.set_prompt1("水下景观的照片，鱼，海底，令人难以置信的细节，高分辨率")
be.set_prompt2("外星行星的渲染图，奇怪的植物，奇怪的生物，超现实")
be.set_negative_prompt("模糊的，丑陋的，苍白的")

# 运行潜在混合
be.run_transition()

# 保存视频
be.write_movie_transition('movie_example1.mp4', duration_transition=12)

安装

pip install git+https://github.com/lunarring/latentblending

使用stable_fast编译实现额外加速

安装 https://github.com/chengzeyi/stable-fast

然后通过设置do_compile=True来启用管道编译

be = BlendingEngine(pipe, do_compile=True)

Gradio用户界面

我们可以通过以下命令启动用户界面版本：

python latentblending/gradio_ui.py

使用用户界面，您可以迭代生成所需的关键帧，然后在最后用潜在混合渲染视频。

示例1：简单过渡

要运行两个提示之间的简单过渡，请参见examples/single_trans.py，或查看这个火山爆发的例子。

示例2：多重过渡

要在K个提示之间运行多重过渡，生成一个拼接视频，请参见examples/multi_trans.py。在这里查看更长的示例视频。

自定义

更改高度/宽度

size_output = (1024, 768)
be.set_dimensions(size_output)

更改扩散步骤数（set_num_inference_steps）

be.set_num_inference_steps(50)

对于SDXL，默认值为30；对于SDXL Turbo，默认值为4。

更改引导比例

be.set_guidance_scale(3.0)

对于SDXL，默认值为4.0；对于SDXL Turbo，默认值为0。

更改分支参数

depth_strength = 0.5
nmb_max_branches = 15
be.set_branching(depth_strength=depth_strength, t_compute_max_allowed=None, nmb_max_branches=None)

depth_strength：扩散迭代的强度决定了混合过程何时开始。接近零的值会产生更具创意和复杂的结果，而接近1的值表示更简单的alpha混合。然而，低值也可能引入额外的对象和运动。
t_compute_max_allowed：计算允许的最长时间。更高的值会产生更好的结果，但需要更长的时间。提供t_compute_max_allowed或nmb_max_branches其中之一。不适用于SDXL Turbo。
nmb_max_branches：要计算的最大分支数。更高的值会产生更好的结果。如果您希望获得独立于硬件的可控结果，请使用此参数。提供t_compute_max_allowed或nmb_max_branches其中之一。

最相关的参数

您可以在这里找到最相关的参数。

更改引导比例

be.set_guidance_scale(5.0)

交叉馈送到最后一张图像

交叉馈送潜在变量是潜在混合的一个关键特性。在这里，您可以设置第一个图像分支对最后一个分支的影响程度。在下面的动画中，这些是蓝色箭头。

crossfeed_power = 0.5 # 最后一个分支中50%的潜在变量从branch1复制
crossfeed_range = 0.7 # 交叉馈送在迭代次数的70%之前有效，然后关闭
crossfeed_decay = 0.2 # 交叉馈送的功率在扩散迭代过程中减少，在范围结束时为0.5*0.2=0.1
be.set_branch1_crossfeed(crossfeed_power, crossfeed_range, crossfeed_decay)

交叉馈送到所有过渡图像

在这里，您可以设置父分支对混合分支的影响程度。在下面的动画中，这些是黄色箭头。

crossfeed_power = 0.5 # 最后一个分支中50%的潜在变量从父级复制
crossfeed_range = 0.7 # 交叉馈送在迭代次数的70%之前有效，然后关闭
crossfeed_decay = 0.2 # 交叉馈送的强度在扩散迭代过程中递减，这里在范围结束时会是0.5*0.2=0.1
be.set_parental_crossfeed(crossfeed_power, crossfeed_range, crossfeed_decay)

潜在空间混合是如何工作的？

方法

上图展示了一个扩散树。y轴代表扩散步骤，x轴代表时间混合。第一个提示词的扩散轨迹是最左边的列，总是首先计算。接下来计算第二个提示词的轨迹，可能受第一个分支的影响（蓝色箭头，详见上文"交叉馈送到最后一张图像"）。最后计算所有中间过渡图像。在过渡中，可能有来自父级的影响，这有助于保持结构（黄色箭头，详见上文"交叉馈送到所有过渡图像"）。重要的是，x轴上的注入位置并非预先固定，而是使用感知相似度动态设置，总是在最需要的地方添加分支。

上述过渡的具体参数如下：

be.set_branch1_crossfeed(crossfeed_power=0.8, crossfeed_range=0.6, crossfeed_decay=0.4)
be.set_parental_crossfeed(crossfeed_power=0.8, crossfeed_range=0.8, crossfeed_decay=0.2)
imgs_transition = be.run_transition(num_inference_steps=10, depth_strength=0.2, nmb_max_branches=7)

感知方面

通过潜在空间混合，我们可以创造出看似违反自然法则却又完全自然可信的过渡。关键在于抑制我们背侧视觉通路的处理，这是通过避免过渡中的运动来实现的。没有运动，我们的视觉系统难以检测到过渡，让观者产生单一连续图像的错觉，参见变化盲视。然而，当引入运动时，视觉系统能够检测到过渡，观者会意识到过渡的存在，导致不协调的效果。因此，优化过渡参数，特别是交叉馈送参数和第一次注入的深度，将获得最佳效果。

更新日志

支持SDXL Turbo
支持SDXL
Diffusers后端，大大简化了安装和使用（使用您自己的管道）
新的混合引擎，具有交叉馈送功能，实现结构保持过渡
使用LPIPS图像相似度寻找下一个最佳注入分支，实现更平滑的过渡
基于时间的计算：不再指定过渡帧数，而是告诉计算预算，在预算内获得过渡
新的多电影引擎
更简单、更强大的gradio界面。您可以更快地迭代并拼接多部电影
不再支持修复绘制（因为它只对单一过渡有意义）

即将推出...

MacOS支持
Huggingface Space
Controlnet
IP-Adapter

在Twitter上关注最新动态：@j_stelzer

联系方式：stelzer@lunar-ring.ai（Johannes Stelzer）