魔法服装 (ACM多媒体2024)

这个仓库是魔法服装的官方实现

魔法服装是OOTDiffusion的分支版本，专注于可控的服装驱动图像合成

魔法服装：可控的服装驱动图像合成 [arXiv论文]
陈伟峰*，顾涛*，徐宇豪*⁺，陈成才
* 共同第一作者 ⁺ 通讯作者
小i机器人研究院

📢📢 我们正在持续改进这个项目。请查看earlyAccess分支以获取新功能和更新 : )

新闻

🔥 [2024/4/16] 我们的论文现已发布！

🔥 [2024/3/8] 我们发布了在768分辨率上训练的模型权重。可以独立调整服装和文本提示的强度。

🤗 Hugging Face链接

🔥 [2024/2/28] 我们现在支持IP-Adapter-FaceID和ControlNet-Openpose了！可以使用人像和参考姿势图像作为额外条件。

请使用gradio_ipadapter_openpose.py体验

🔥 [2024/2/23] 我们现在支持IP-Adapter-FaceID了！可以使用人像图像作为额外条件。

请使用gradio_ipadapter_faceid.py体验

安装

1. 克隆仓库

git clone https://github.com/ShineChen1024/MagicClothing.git

2. 创建conda环境并安装所需包

conda create -n magicloth python==3.10
conda activate magicloth
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt

推理

1. Python演示

512权重

python inference.py --cloth_path [你的服装路径] --model_path [你的模型检查点路径]

768权重

python inference.py --cloth_path [你的服装路径] --model_path [你的模型检查点路径] --enable_cloth_guidance

2. Gradio演示

512权重

python gradio_generate.py --model_path [你的模型检查点路径] 

768权重

python gradio_generate.py --model_path [你的模型检查点路径] --enable_cloth_guidance

引用

@article{chen2024magic,
  title={Magic Clothing: Controllable Garment-Driven Image Synthesis},
  author={Chen, Weifeng and Gu, Tao and Xu, Yuhao and Chen, Chengcai},
  journal={arXiv preprint arXiv:2404.09512},
  year={2024}
}

待办事项

• 论文
• Gradio演示
• 推理代码
• 模型权重
• 训练代码