flowty实时LCM画布
关于
这是一个使用LCM和gradio库的实时草图到图像演示。 如果你不熟悉LCM,可以在这里了解 - Hugging Face上的文章。
感谢LCM LoRA,你还可以通过更改用户界面中的模型ID来使用不同的模型。 预期效果是让你能够在一侧绘图,并在另一侧几乎实时地看到变化。
不用说,这在一些GPU上表现会较差,在另一些GPU上表现会更好。4090通常在实时场景中表现最佳。分享你的结果吧!
这在配备M2 Max、30 GPU - 32GB组合的MacBook Pro上进行了测试,使用Python 3.10。推理时间可以接受,每次渲染约1.2秒。如果你的机器性能良好,可以随意调整参数以获得更好的结果。你还可以根据你的模型在ui.py中将画布大小更改为768 / 1024。
设置
- 如果你想隔离项目环境,可以设置虚拟环境:
python -m venv env
- MacOS激活:
source ./env/bin/activate
- Windows激活:
env\Scripts\activate
- MacOS激活:
- Nvidia用户应使用此命令安装PyTorch:
pip install torch --extra-index-url https://download.pytorch.org/whl/cu121
- 安装依赖:
pip install -r requirements.txt
- 运行ui.py:
python ui.py
运行ui.py后,模型应该会自动下载到models目录。根据你的网络情况,可能需要几分钟。 模型下载完成后,gradio会在控制台打印出你可以访问用户界面的URL。
使用Google Colab
Google Colab用户也可以通过执行以下命令并访问生成的Gradio公共URL来使用它。 (我认为这目前仅适用于Colab Pro。)
!git clone https://github.com/flowtyone/flowty-realtime-lcm-canvas.git
%cd flowty-realtime-lcm-canvas
!pip install -r requirements.txt
!python ui.py --share
这是来自flowt.ai的社区项目。如果你喜欢,请关注我们!