天选之子:文本到图像扩散模型中的一致性角色(非官方实现)
这个仓库包含了论文《天选之子:文本到图像扩散模型中的一致性角色》的非官方PyTorch实现,使用Diffuser框架。
感谢作者们的出色工作,如果您觉得这个实现有帮助,也请考虑给个星标🌟。😻😻😻
(请注意,我没有仔细调整上述结果生成的超参数,但它们已经足够好了。)
待办事项
- 代码发布
- 训练说明
- 推理说明
- ControlNet支持
- 本地图像编辑
- 一些可视化结果
入门指南
安装和前提条件
安装diffuser 0.24.0.dev0
:
git clone https://github.com/huggingface/diffusers
cd diffusers
pip install .
克隆仓库并安装所需包:
git clone git@github.com:ZichengDuan/TheChosenOne.git
cd TheChosenOne
pip install -r requirements.txt
您还需要修改config/theChosenOne.yaml
中的配置文件以适应您的本地环境。
数据备份文件夹准备
您需要创建一个备份数据文件夹,用于存储第一轮生成的初始图像,以便下次如果想再次训练相同角色时能更快地开始训练。 这在配置文件中设置如下:
backup_data_dir_root: 您的数据文件夹的绝对路径
运行代码
训练
python main.py
推理
只需运行:
python inference.py
脚本将加载您在inference.py
和配置文件中指定的模型。
引用论文
请务必尊重作者并正确引用他们的工作。🫡
@article{avrahami2023chosen,
title={The Chosen One: Consistent Characters in Text-to-Image Diffusion Models},
author={Avrahami, Omri and Hertz, Amir and Vinker, Yael and Arar, Moab and Fruchter, Shlomi and Fried, Ohad and Cohen-Or, Daniel and Lischinski, Dani},
journal={arXiv preprint arXiv:2311.10093},
year={2023}
}