OOTDiffusion

这是OOTDiffusion的官方实现仓库

🤗 试用OOTDiffusion

(感谢ZeroGPU提供A100 GPU)

OOTDiffusion: 基于服装融合的潜在扩散模型用于可控虚拟试穿 [arXiv论文]
徐宇豪, 谷涛, 陈伟峰, 陈成才
小i机器人研究院

我们在VITON-HD（上半身）和Dress Code（全身）上训练的模型检查点已经发布

• 🤗 Hugging Face链接提供检查点（ootd、人体解析和openpose）
• 📢📢 我们现在支持人体解析的ONNX格式。大多数环境问题应该已经解决 : )
• 请同时下载clip-vit-large-patch14到checkpoints文件夹
• 我们只在Linux（Ubuntu 22.04）上测试过我们的代码和模型

安装

1. 克隆仓库

git clone https://github.com/levihsu/OOTDiffusion

2. 创建conda环境并安装所需包

conda create -n ootd python==3.10
conda activate ootd
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt

推理

1. 上半身模型

cd OOTDiffusion/run
python run_ootd.py --model_path <模特图片路径> --cloth_path <衣服图片路径> --scale 2.0 --sample 4

2. 全身模型

服装类别必须成对：0 = 上衣；1 = 下装；2 = 连衣裙

cd OOTDiffusion/run
python run_ootd.py --model_path <模特图片路径> --cloth_path <衣服图片路径> --model_type dc --category 2 --scale 2.0 --sample 4

引用

@article{xu2024ootdiffusion,
  title={OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on},
  author={Xu, Yuhao and Gu, Tao and Chen, Weifeng and Chen, Chengcai},
  journal={arXiv preprint arXiv:2403.01779},
  year={2024}
}

Star历史

待办事项

• 论文
• Gradio演示
• 推理代码
• 模型权重
• 训练代码