FLUX：革命性的AI图像生成技术

FLUX：开启AI图像生成新纪元 🎨🤖

在人工智能快速发展的今天，图像生成技术正在经历一场革命。由Black Forest Labs开发的FLUX模型正站在这场革命的前沿，为我们带来了令人惊叹的图像生成能力。本文将深入探讨FLUX模型的特点、应用以及如何使用这一强大的工具。

FLUX模型简介

FLUX是一系列基于潜在整流流变换器（latent rectified flow transformers）的模型，专门用于文本到图像和图像到图像的转换。这项技术由Black Forest Labs团队开发，旨在推动AI图像生成的边界。

FLUX图像生成示例

上图展示了FLUX模型生成的一系列图像，展现了其多样化和高质量的输出能力。

FLUX模型家族

FLUX目前提供三个主要模型：

FLUX.1 [pro]：基础模型，通过API提供
FLUX.1 [dev]：经过指导蒸馏的变体
FLUX.1 [schnell]：经过指导和步骤蒸馏的变体

这些模型各有特点，适用于不同的应用场景和需求。其中，FLUX.1 [schnell]和FLUX.1 [dev]模型的权重已在HuggingFace上公开，供研究和非商业用途使用。

如何使用FLUX

本地安装

要在本地使用FLUX，您需要按照以下步骤进行安装：

cd $HOME && git clone https://github.com/black-forest-labs/flux
cd $HOME/flux
python3.10 -m venv .venv
source .venv/bin/activate
pip install -e ".[all]"

安装完成后，您可以通过命令行界面或Python脚本使用FLUX模型。

命令行使用

对于交互式采样，可以运行：

python -m flux --name <name> --loop

生成单个样本：

python -m flux --name <name> \
  --height <height> --width <width> \
  --prompt "<prompt>"

图形界面演示

FLUX还提供了基于Streamlit和Gradio的图形界面演示，方便用户进行文本到图像和图像到图像的转换。运行Gradio演示：

python demo_gr.py --name flux-schnell --device cuda

这些演示为用户提供了直观的界面，使得即使没有编程经验的人也能轻松使用FLUX的强大功能。

与Diffusers库的集成

FLUX.1 [schnell]和FLUX.1 [dev]已经集成到了流行的🧨 Diffusers库中。这意味着用户可以通过简单的Python代码来使用FLUX模型：

import torch
from diffusers import FluxPipeline

model_id = "black-forest-labs/FLUX.1-schnell"

pipe = FluxPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()

prompt = "A cat holding a sign that says hello world"
seed = 42
image = pipe(
    prompt,
    output_type="pil",
    num_inference_steps=4,
    generator=torch.Generator("cpu").manual_seed(seed)
).images[0]
image.save("flux-schnell.png")

这种集成大大简化了FLUX模型的使用流程，使得研究人员和开发者可以更容易地将FLUX整合到他们的项目中。

FLUX API：更强大的选择

对于那些需要更高性能和更多功能的用户，Black Forest Labs提供了FLUX API。这个API提供了对FLUX.1 [pro]模型的访问，这是FLUX系列中最强大的模型。

要使用API，首先需要在api.bfl.ml注册并创建API密钥。然后，您可以通过Python接口轻松使用API：

from flux.api import ImageRequest

request = ImageRequest("A beautiful beach")

# 获取生成图像的URL
print(request.url)

# 保存生成的图像
request.save("outputs/api.jpg")

# 直接获取PIL图像对象
image = request.image

API的使用为开发者提供了更大的灵活性，允许他们在各种应用中集成FLUX的图像生成能力。