Paints-Undo

Paints-Undo：数字绘画行为的基础模型

Paints-Undo 是一个旨在提供人类绘画行为基础模型的项目，希望未来的 AI 模型能更好地满足人类艺术家的实际需求。

"Paints-Undo"这个名字的灵感来源于，模型的输出效果类似于在数字绘画软件中多次按下"撤销"按钮（通常是 Ctrl+Z）。

Paints-Undo 提供了一系列模型，这些模型以图像为输入，然后输出该图像的绘制序列。模型展示了各种人类行为，包括但不限于素描、勾线、上色、阴影、变形、左右翻转、颜色曲线调整、改变图层可见性，甚至在绘画过程中改变整体创意。

本页面不包含任何示例。所有示例都在以下 Git 页面中：

>>> 点击此处查看示例页面 <<<

本 GitHub 仓库是 PaintsUndo 唯一的官方页面。我们没有其他任何网站。

请注意，最近在 Google 和社交媒体上出现了许多 PaintsUndo 的假网站。

开始使用

你可以通过以下方式在本地部署 PaintsUndo：

git clone https://github.com/lllyasviel/Paints-UNDO.git
cd Paints-UNDO
conda create -n paints_undo python=3.10
conda activate paints_undo
pip install xformers
pip install -r requirements.txt
python gradio_app.py

（如果你不知道如何使用这些命令，可以将它们粘贴到 ChatGPT 并要求 ChatGPT 解释并给出更详细的说明。）

推理已在 Nvidia 4090 和 3090TI 的 24GB VRAM 上测试通过。它可能也可以在 16GB VRAM 上运行，但无法在 8GB 上运行。我的估计是，在极端优化的情况下（包括权重卸载和分片注意力），理论最低 VRAM 要求约为 10~12.5 GB。

根据你的设置，处理一张图像大约需要 5 到 10 分钟。通常情况下，你会得到一个 25 秒长、4 帧每秒的视频，分辨率为 320x512、512x320、384x448 或 448x384。

由于处理时间在大多数情况下明显长于 HuggingFace Space 中的大多数任务/配额，我个人不太建议将其部署到 HuggingFace Space，以避免给 HF 服务器带来不必要的负担。

如果你没有所需的计算设备但仍想要在线解决方案，一个选择是等待我们发布 Colab 笔记本（但我不确定 Colab 免费版是否可行）。

模型说明

我们目前发布了两个模型：paints_undo_single_frame 和 paints_undo_multi_frame。让我们称它们为单帧模型和多帧模型。

单帧模型以一张图像和一个"操作步骤"作为输入，输出一张单一图像。假设一件艺术品总是可以通过 1000 次人工操作创建（例如，一笔是一次操作），"操作步骤"是一个从 0 到 999 的整数。数字 0 表示完成的最终作品，数字 999 表示在纯白画布上绘制的第一笔。你可以将这个模型理解为一个"撤销"（或称 Ctrl+Z）模型。你输入最终图像，并指示你想"Ctrl+Z"多少次，模型就会给你一个在按下这些"Ctrl+Z"后的"模拟"截图。如果你的"操作步骤"是 100，那么意味着你想在这张图像上模拟按 100 次"Ctrl+Z"，以获得第 100 次"Ctrl+Z"后的外观。

多帧模型接受两张图像作为输入，并输出这两张输入图像之间的 16 个中间帧。结果比单帧模型更加一致，但也更慢、"创意"更少，且限制在 16 帧内。

在这个仓库中，默认方法是将它们一起使用。我们首先会推理单帧模型大约 5-7 次以获得 5-7 个"关键帧"，然后我们使用多帧模型来"插值"这些关键帧，实际生成一个相对较长的视频。

理论上，这个系统可以以多种方式使用，甚至可以生成无限长的视频，但实际上，当最终帧数在 100-500 之间时，效果最好。

模型架构（paints_undo_single_frame）

该模型是 SD1.5 的修改架构，在不同的 betas 调度器、clip skip 和上述"操作步骤"条件下训练。具体来说，该模型使用以下 betas 训练：

betas = torch.linspace(0.00085, 0.020, 1000, dtype=torch.float64)

相比之下，原始 SD1.5 使用以下 betas 训练：

betas = torch.linspace(0.00085 ** 0.5, 0.012 ** 0.5, 1000, dtype=torch.float64) ** 2

你可以注意到结束 betas 的差异以及移除的平方。这个调度器的选择基于我们内部的用户研究。

文本编码器 CLIP ViT-L/14 的最后一层被永久移除。现在在数学上始终将 CLIP Skip 设置为 2 是一致的（如果你使用 diffusers）。

"操作步骤"条件以类似于 SDXL 额外嵌入的方式添加到层嵌入中。

此外，由于该模型的唯一目的是处理现有图像，该模型严格与 WD14 标签器对齐，没有任何其他增强。你应该始终使用 WD14 标签器（本仓库中的那个）来处理输入图像以获取提示。否则，结果可能会有缺陷。人工编写的提示未经测试。

模型架构（paints_undo_multi_frame）

该模型通过从VideoCrafter系列恢复训练而成，但原始Crafter的"lvdm"未被使用，所有训练/推理代码均从头重新实现。（顺便说一下，现在的代码基于现代的Diffusers。）尽管初始权重是从VideoCrafter恢复的，但神经网络的拓扑结构经过了大量修改，经过广泛训练后，网络行为现在与原始Crafter有很大不同。

整体架构类似Crafter，包含5个组件：3D-UNet、VAE、CLIP、CLIP-Vision和图像投影。

VAE：VAE与从ToonCrafter提取的动漫VAE完全相同。非常感谢ToonCrafter为Crafters提供了出色的动漫时间VAE。

3D-UNet：3D-UNet是在Crafters的"lvdm"基础上修改而来，对注意力模块进行了修订。除了代码中的一些小改动外，主要变化是现在UNet在训练时支持空间自注意力层的时间窗口。您可以在"diffusers_vdm.attention.CrossAttention.temporal_window_for_spatial_self_attention"和"temporal_window_type"中更改代码以激活三种类型的注意力窗口：

"prv"模式：每一帧的空间自注意力也会关注其前一帧的完整空间上下文。第一帧仅关注自身。
"first"模式：每一帧的空间自注意力也会关注整个序列第一帧的完整空间上下文。第一帧仅关注自身。
"roll"模式：每一帧的空间自注意力还会关注其前一帧和后一帧的完整空间上下文，基于"torch.roll"的排序。

请注意，为了节省GPU内存，默认情况下在推理时禁用此功能。

CLIP：SD2.1的CLIP。

CLIP-Vision：我们实现的Clip Vision（ViT/H）支持任意纵横比，通过插值位置嵌入。在尝试了线性插值、最近邻和旋转位置编码（RoPE）后，我们最终选择了最近邻。请注意，这与Crafter将图像调整大小或中心裁剪为224x224的方法不同。

图像投影：我们实现的一个小型transformer，它接受两帧作为输入，并为每帧输出16个图像嵌入。请注意，这与Crafter仅使用一张图像的方法不同。

教程

进入Gradio界面后：

步骤0：上传一张图片或直接点击页面底部的示例图片。

步骤1：在标题为"步骤1"的UI中，点击生成提示以获取全局提示。

步骤2：在标题为"步骤2"的UI中，点击"生成关键帧"。您可以在左侧更改种子或其他参数。

步骤3：在标题为"步骤3"的UI中，点击"生成视频"。您可以在左侧更改种子或其他参数。

引用

@Misc{paintsundo,
  author = {Paints-Undo Team},
  title  = {Paints-Undo GitHub Page},
  year   = {2024},
}

应用

PaintsUndo的典型用例：

将PaintsUndo用作基础模型，分析人类行为，以构建符合人类行为和需求的AI工具，在完全可控的工作流程中实现AI与人类之间的无缝协作。
将PaintsUndo与草图引导的图像生成器结合，实现"PaintsRedo"，从而在任何已完成/未完成的作品中任意前进或后退，增强人类的创造力。*
使用PaintsUndo查看您自己作品的不同可能过程，获取艺术灵感。
将PaintsUndo的输出用作一种视频/电影后期效果，以实现特定的创意目的。

还有更多...

这已经是可能的 - 如果您使用PaintsUndo撤销500步，并希望以不同的可能性重做100步，您可以使用ControlNet完成它（使其成为第0步），然后撤销400步。更加集成的解决方案仍在实验中。

免责声明

本项目旨在开发人类绘画行为的基础模型，以促进未来的AI系统更好地满足人类艺术家的真实需求。用户可以自由使用此工具创作内容，但应遵守当地法律并负责任地使用。用户不得利用该工具生成虚假信息或煽动对抗。开发者不对用户可能的滥用承担任何责任。

Paints-UNDO