使用AI激发你的艺术灵感

Muse在此处上线

运行你自己的版本 • Lightning AI • 使用Muse在线版 • 完整教程

Muse

开源的稳定扩散生产服务器，展示如何在真实生产环境中部署扩散模型，包括：负载均衡、GPU推理、性能测试、微服务编排等。所有这些都可以通过Lightning Apps框架轻松处理。

应用在这里上线。

如何构建此应用的完整教程。

模型

Muse使用由stability AI提供的开源Stable Diffusion模型。我们应用了一些巧妙的技巧使推理速度非常快。

这里是展示我们模型服务器的一小段代码片段

    @torch.inference_mode()
    def predict(self, dreams: List[Data], entry_time: int):
        # 处理超时
        if time.time() - entry_time > INFERENCE_REQUEST_TIMEOUT:
            raise TimeoutException()

        # 设置推理参数
        height = width = IMAGE_SIZE
        num_inference_steps = 50 if dreams[0].high_quality else 25

        prompts = [dream.prompt for dream in dreams]

        # GPU推理
        if torch.cuda.is_available():
            with autocast("cuda"):
                torch.cuda.empty_cache()
                pil_results = self._model(
                    prompts,
                    height=height,
                    width=width,
                    num_inference_steps=num_inference_steps,
                )
            # 应用过滤器
            nsfw_content = self._safety_checker(pil_results)
            for i, nsfw in enumerate(nsfw_content):
                if nsfw:
                    pil_results[i] = Image.open("assets/nsfw-warning.png")
        else:
            time.sleep(3)
            pil_results = [Image.fromarray(np.random.randint(0, 255, (height, width, 3), dtype="uint8"))] * len(prompts)

        # 返回模型结果
        results = []
        for image in pil_results:
            buffered = BytesIO()
            image.save(buffered, format="PNG")
            img_str = base64.b64encode(buffered.getvalue()).decode("utf-8")
            # 确保pil_results是单个项目数组，否则会重写图像
            results.append({"image": f"data:image/png;base64,{img_str}"})

        return results

运行你自己的版本

要在本地运行此应用，请按以下步骤操作：

conda create --name muse_app python=3.9 --yes
conda activate muse_app

git clone https://github.com/Lightning-AI/stable-diffusion-deploy.git
cd stable-diffusion-deploy

bash dev_install.sh

## 在本地运行应用
python -m lightning run app app.py

## 在云端运行应用以与同事和用户分享
python -m lightning run app app.py --cloud

你可以配置Muse来选择自定义的工作线程数、批处理大小或选择你喜欢的稳定扩散版本。了解更多。