stable-diffusion-2-1-unclip - 基于文本和图像嵌入的Stable Diffusion 2.1增强版

项目介绍：Stable Diffusion 2-1-unclip

Stable Diffusion 2-1-unclip是Stable Diffusion 2.1的一个微调版本，它被修改以接受（噪声化的）CLIP图像嵌入，除了文本提示外，还可以用于创建图像变体，甚至可以与文本到图像的CLIP先验结合使用。用户可以通过设置噪声级别来调整图像嵌入中的噪声量（0表示没有噪声，1000表示完全噪声）。

模型详情

开发者: Robin Rombach, Patrick Esser
模型类型: 基于扩散的文本到图像生成模型
支持语言: 英语
许可证: CreativeML Open RAIL++-M License
模型描述: 该模型可用于根据文本提示生成和修改图像。它是一种潜在扩散模型，使用了一个固定的、预训练的文本编码器（OpenCLIP-ViT/H）。

使用案例

直接使用 该模型主要用于研究目的，可能的研究领域和任务包括：安全部署可能生成有害内容的模型、研究生成模型的局限性和偏差、生成艺术作品及应用于设计和其他艺术过程中、用于教育或创造性工具中的应用、研究生成模型。
不当和恶意使用 模型不应被用于故意创建或传播敌意或令人不安的图像，特别是那些可能传播历史或当前的刻板印象的内容。

模型的局限性和偏见

局限性

模型无法实现完美的照片真实感
模型不能渲染清晰的文本
模型在涉及组合性的复杂任务上表现不佳，例如渲染“一个红色立方体在一个蓝色球体上面”的图像
人物面部和人体可能生成不正确
模型主要使用英文字幕进行训练，对其他语言支持不佳

偏见

虽然图像生成模型的能力令人印象深刻，但它们也可能加强或加剧社会偏见。此模型主要基于LAION-2B(en)的子集进行训练，这对非英文的提示词表现明显较差。

训练细节

训练数据 模型开发者使用了LAION-5B及其子集的数据集进行训练。对于训练数据，使用了LAION的NSFW检测器进行过滤，以减少不安全内容的影响。

环境影响

Stable Diffusion v1的估计排放 根据估算，该模型在运行过程中大约排放了15000公斤二氧化碳当量，计算基于使用的硬件、运行时间、云服务提供商和计算区域等因素。

引用

如果使用此模型，请引用相关论文：

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

Stable Diffusion 2-1-unclip作为一个强大的生成模型，为研究人员提供了各种试验和应用的可能性，但同时也须谨慎使用，以避免潜在的滥用或不当影响。