ru-dalle入门指南 - 从文本生成图像的强大工具

Ray

ru-dalle入门指南 - 从文本生成图像的强大工具

ru-dalle是一个由Sber AI等机构开发的开源文本到图像生成模型,能够根据俄语文本描述生成高质量图像。本文将介绍ru-dalle的基本信息、使用方法和相关资源,帮助读者快速入门这个强大的AI创作工具。

什么是ru-dalle?

ru-dalle是一个基于Transformer架构的文本到图像生成模型,主要特点包括:

支持俄语文本输入
开源,可在GitHub上获取代码
有XL(13亿参数)和XXL(120亿参数)两个版本
能生成256x256分辨率的图像

ru-dalle的名字来源于OpenAI的DALL-E模型,但实际上是一个独立开发的项目。

如何使用ru-dalle?

使用ru-dalle生成图像的基本步骤如下:

安装ru-dalle:

pip install rudalle==1.1.3

导入必要的库:

import ruclip
from rudalle import get_rudalle_model, get_tokenizer, get_vae, get_realesrgan
from rudalle.pipelines import generate_images, show, super_resolution, cherry_pick_by_ruclip

加载模型:

device = 'cuda'
dalle = get_rudalle_model('Malevich', pretrained=True, fp16=True, device=device)
tokenizer = get_tokenizer()
vae = get_vae(dwt=True).to(device)

生成图像:

text = 'радуга на фоне ночного города' # "夜空中的彩虹"
pil_images, _ = generate_images(text, tokenizer, dalle, vae, top_k=1024, top_p=0.99, images_num=24)
show(pil_images, 6)

使用ruCLIP筛选最佳图像:

ruclip, ruclip_processor = get_ruclip('ruclip-vit-base-patch32-384', device=device)
top_images, _ = cherry_pick_by_ruclip(pil_images, text, ruclip, ruclip_processor, device=device, count=6)
show(top_images, 3)

应用超分辨率:

realesrgan = get_realesrgan('x2', device=device)
sr_images = super_resolution(top_images, realesrgan)
show(sr_images, 3)

ru-dalle相关资源

GitHub仓库: https://github.com/ai-forever/ru-dalle
HuggingFace模型:
在线演示:
- 官方demo: https://rudalle.ru/en/
- Telegram机器人: @sber_rudalle_xl_bot
Colab notebooks:
相关文章:
- ru-dalle官方介绍文章

ru-dalle生成示例

以下是一些使用ru-dalle生成的图像示例:

示例图像1 提示词: "радуга на фоне ночного города" (夜空中的彩虹)

示例图像2 提示词: "красивая тян из аниме" (美丽的动漫少女)

示例图像3 提示词: "роботы акварелью в стиле ван гога" (梵高风格的水彩机器人)

结语

ru-dalle为俄语用户提供了一个强大的文本到图像生成工具,也为研究人员提供了宝贵的开源资源。尽管目前主要支持俄语输入,但其架构和训练方法对其他语言的类似项目也有重要参考价值。随着技术的不断发展,相信会有更多类似ru-dalle的多语言文本到图像生成模型涌现,让AI辅助创作变得更加普及和便捷。