SVGDreamer：基于扩散模型的文本引导SVG生成

本仓库包含我们CVPR 2024论文《SVGDreamer：基于扩散模型的文本引导SVG生成》的官方实现。它可以根据文本提示生成高质量的SVG。

:new: 更新

[2024年3月] 🔥 我们已发布SVGDreamer的代码。
[2024年2月] 🎉 SVGDreamer被CVPR2024接收。 🎉
[2023年12月] 🔥 我们已发布**SVGDreamer论文**。SVGDreamer是一种新颖的文本引导矢量图形合成方法。该方法同时考虑了矢量图形的编辑和合成的质量。

安装

1. 安装环境

您可以按照以下步骤快速上手并运行SVGDreamer。这些步骤将让您在本地运行快速推理。

在顶层目录运行：

sh script/install.sh

或使用docker：

docker run --name svgdreamer --gpus all -it --ipc=host ximingxing/svgrender:v1 /bin/bash

2. 下载预训练的Stable Diffusion模型

下载预训练SD模型，首次运行时在/conf/config.yaml中设置diffuser.download=True。（或者，您可以在脚本末尾附加diffuser.download=True。）

您也可以手动下载：

模型链接：https://huggingface.co/stabilityai/stable-diffusion-2-1-base
默认模型存储在/home/user/.cache/huggingface/hub/models--stabilityai--stable-diffusion-2-1-base

🔥 快速开始

SIVE + VPSD

**提示：**蝙蝠侠的图像。全身动作姿势，完整详细的身体，白色背景，高质量，4K，超级真实
预览：

粒子1	粒子2	粒子3	粒子4	粒子5	粒子6
初始p1	初始p2	初始p3	初始p4	初始p5	初始p6

最终p1	最终p2	最终p3	最终p4	最终p5	最终p6

脚本：

python svgdreamer.py x=iconography skip_sive=False "prompt='an image of Batman. full body action pose, complete detailed body. white background. empty background, high quality, 4K, ultra realistic'" token_ind=4 x.vpsd.t_schedule='randint' result_path='./logs/batman' multirun=True

x=iconography(str)：样式配置
skip_sive(bool)：启用SIVE阶段
token_ind(int)：文本提示的索引，从1开始
result_path(str)：保存结果的路径
multirun(bool)：使用不同的随机种子多次运行脚本
mv(bool)：保存运行的中间结果并记录视频（这会增加运行时间）

更多参数在./conf/x/style.yaml中，您可以从命令行修改这些参数。例如，在脚本末尾附加x.vpsd.n_particle=4。

SIVE

**提示：**一名宇航员在沙漠中行走，背景是火星，漂浮在行星旁边，太空艺术
预览：

注意力图	背景初始	前景初始	背景最终	前景最终	最终

脚本：

python svgdreamer.py x=iconography-s1 skip_sive=False "prompt='an astronaut walking across a desert, planet mars in the background, floating beside planets, space art'" token_ind=5 result_path='./logs/astronaut_sive' seed=116740

VPSD

✍️ 图标风格

**提示：**悉尼歌剧院。油画。梵高作品
预览：

粒子 1	粒子 2	粒子 3	粒子 4	粒子 5	粒子 6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6

最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6

脚本：

python svgdreamer.py x=iconography "prompt='悉尼歌剧院。油画。梵高风格'" result_path='./logs/SydneyOperaHouse-OilPainting' state.mprec='fp16'

✍️ 绘画风格

提示： 抽象文森特·梵高油画大象，以绿色和棕色的大地色调为特色
预览：

粒子 1	粒子 2	粒子 3	粒子 4	粒子 5	粒子 6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6

最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6

脚本：

python svgdreamer.py x=painting "prompt='抽象文森特·梵高油画大象，以绿色和棕色的大地色调为特色。'" x.num_paths=256 result_path='./logs/Elephant-OilPainting'

✍️ 像素艺术风格

提示： 拿着光剑的达斯·维达
预览：

粒子 1	粒子 2	粒子 3	粒子 4	粒子 5	粒子 6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6

最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6

脚本：

python svgdreamer.py x=pixelart "prompt='拿着光剑的达斯·维达。'" result_path='./logs/DarthVader'

✍️低多边形风格

提示： 一幅白头鹰的图片。低多边形。多边形。极简平面2D矢量

粒子1	粒子2	粒子3	粒子4	粒子5	粒子6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6

最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6

脚本:

python svgdreamer.py x=lowpoly "prompt='A picture of a bald eagle. low-ploy. polygon. minimal flat 2d vector'" neg_prompt='' result_path='./logs/BaldEagle'

✍️ 素描风格

提示词: 一幅兰博基尼高速行驶的手绘画。黑白绘画。
预览:

粒子1	粒子2	粒子3	粒子4	粒子5	粒子6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6

最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6

脚本:

python svgdreamer.py x=sketch "prompt='A free-hand drawing of A speeding Lamborghini. black and white drawing.'" neg_prompt='' result_path='./logs/Lamborghini'

✍️ 水墨画风格

提示词: 大雁塔。水墨风格。极简抽象艺术灰度水彩。空白背景
预览:

粒子1	粒子2	粒子3	粒子4	粒子5	粒子6
初始 p1	初始 p2	初始 p3	初始 p4	初始 p5	初始 p6

最终 p1	最终 p2	最终 p3	最终 p4	最终 p5	最终 p6

脚本:

python svgdreamer.py x=ink "prompt='Big Wild Goose Pagoda. ink style. Minimalist abstract art grayscale watercolor. empty background'" neg_prompt='' result_path='./logs/BigWildGoosePagoda'

🔑 提示

强烈建议开启 xformer enable_xformers=True 以加速优化。
x.vpsd.t_schedule 对结果风格影响很大。请多尝试。
neg_prompt 负面提示词会影响结果质量。
通过设置 state.mprec='fp16'，可以显著减少 GPU 内存使用。

📋 待办事项

发布代码。
添加 docker 镜像。
支持 fp16 优化。

:books: 致谢

本项目基于以下仓库构建：

我们衷心感谢这些作者的杰出工作。

:paperclip: 引用

如果您在研究中使用了此代码，请引用以下论文：

@InProceedings{svgdreamer_xing_2023,
    author    = {Xing, Ximing and Zhou, Haitao and Wang, Chuang and Zhang, Jing and Xu, Dong and Yu, Qian},
    title     = {SVGDreamer: Text Guided SVG Generation with Diffusion Model},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2024},
    pages     = {4546-4555}
}