新闻
- 2020年1月11日:我们整理了代码以提高其可读性!旧版本在这里:v1。
AttGAN
TIP 2019年11月, arXiv 2017年11月
AttGAN的TensorFlow实现:通过仅改变您想要的来编辑面部属性。
相关
-
AttGAN的其他实现
-
Yu-Jing Lin的AttGAN-PyTorch
-
ceci3和zhumanyu的AttGAN-PaddlePaddle(AttGAN是PaddlePaddle的官方复现模型之一)
-
-
密切相关的工作
-
基于我们代码的一项优秀工作 - Ming Liu的STGAN(CVPR 2019)
-
acecreamu的Changing-the-Memorability(CVPR 2019 MBCCV研讨会)
-
Qing Ping的Fashion-AttGAN(CVPR 2019 FSS-USAD研讨会)
-
-
王一凡制作的非官方演示视频
示例结果
-
查看results.md获取更多结果,我们尝试了更高分辨率和更多属性(所有40个属性!)
-
分别反转13个属性
从左到右:输入、重建、秃头、刘海、黑发、金发、棕发、浓眉、眼镜、男性、微微张嘴、胡子、无胡须、苍白皮肤、年轻
使用方法
-
环境
-
Python 3.6
-
TensorFlow 1.15
-
OpenCV, scikit-image, tqdm, oyaml
-
我们推荐使用Anaconda或Miniconda,然后您可以使用以下命令创建AttGAN环境
conda create -n AttGAN python=3.6 source activate AttGAN conda install opencv scikit-image tqdm tensorflow-gpu=1.15 conda install -c conda-forge oyaml
-
注意:如果您创建了新的conda环境,请记得在执行任何其他命令之前激活它
source activate AttGAN
-
-
数据准备
-
选项1:CelebA-未对齐(质量高于对齐数据,10.2GB)
-
下载数据集
-
img_celeba.7z(移动到**./data/img_celeba/img_celeba.7z**):Google Drive或百度网盘(密码rp0s)
-
annotations.zip(移动到**./data/img_celeba/annotations.zip**):Google Drive
-
-
解压并处理数据
7z x ./data/img_celeba/img_celeba.7z/img_celeba.7z.001 -o./data/img_celeba/ unzip ./data/img_celeba/annotations.zip -d ./data/img_celeba/ python ./scripts/align.py
-
-
选项2:CelebA-HQ(我们使用CelebAMask-HQ的数据,3.2GB)
-
CelebAMask-HQ.zip(移动到**./data/CelebAMask-HQ.zip**):Google Drive或百度网盘
-
解压并处理数据
unzip ./data/CelebAMask-HQ.zip -d ./data/ python ./scripts/split_CelebA-HQ.py
-
-
-
运行AttGAN
-
训练(更多训练命令请参见examples.md)
\\ 对于CelebA CUDA_VISIBLE_DEVICES=0 \ python train.py \ --load_size 143 \ --crop_size 128 \ --model model_128 \ --experiment_name AttGAN_128
-
\ 对于 CelebA-HQ
CUDA_VISIBLE_DEVICES=0
python train.py
--img_dir ./data/CelebAMask-HQ/CelebA-HQ-img
--train_label_path ./data/CelebAMask-HQ/train_label.txt
--val_label_path ./data/CelebAMask-HQ/val_label.txt
--load_size 128
--crop_size 128
--n_epochs 200
--epoch_start_decay 100
--model model_128
--experiment_name AttGAN_128_CelebA-HQ
- 测试
- **单个**属性编辑(反转)
```console
\\ 对于 CelebA
CUDA_VISIBLE_DEVICES=0 \
python test.py \
--experiment_name AttGAN_128
\\ 对于 CelebA-HQ
CUDA_VISIBLE_DEVICES=0 \
python test.py \
--img_dir ./data/CelebAMask-HQ/CelebA-HQ-img \
--test_label_path ./data/CelebAMask-HQ/test_label.txt \
--experiment_name AttGAN_128_CelebA-HQ
```
- **多个**属性编辑(反转)示例
```console
\\ 对于 CelebA
CUDA_VISIBLE_DEVICES=0 \
python test_multi.py \
--test_att_names Bushy_Eyebrows Pale_Skin \
--experiment_name AttGAN_128
```
- 属性滑动示例
```console
\\ 对于 CelebA
CUDA_VISIBLE_DEVICES=0 \
python test_slide.py \
--test_att_name Pale_Skin \
--test_int_min -2 \
--test_int_max 2 \
--test_int_step 0.5 \
--experiment_name AttGAN_128
```
- 损失可视化
```console
CUDA_VISIBLE_DEVICES='' \
tensorboard \
--logdir ./output/AttGAN_128/summaries \
--port 6006
```
- 将训练好的模型转换为 .pb 文件
```console
python to_pb.py --experiment_name AttGAN_128
```
- 使用训练好的权重
- 替代训练权重(移动到 **./output/\*.zip**)
- [AttGAN_128.zip](https://drive.google.com/file/d/1Oy4F1xtYdxj4iyiLyaEd-dkGIJ0mwo41/view?usp=sharing)(987.5MB)
- *包括 G、D 和优化器的状态*
- [AttGAN_128_generator_only.zip](https://drive.google.com/file/d/1lcQ-ijNrGD4919eJ5Dv-7ja5rsx5p0Tp/view?usp=sharing)(161.5MB)
- *仅 G*
- [AttGAN_384_generator_only.zip](https://drive.google.com/open?id=1scaKWcWIpTfsV0yrWCI-wg_JDmDsKKm1)(91.1MB)
- 解压文件(以 AttGAN_128.zip 为例)
```console
unzip ./output/AttGAN_128.zip -d ./output/
```
- 测试(见上文)
- 自定义数据集示例
- [AttGAN-Cartoon](https://github.com/LynnHo/AttGAN-Cartoon-Tensorflow)
## 引用
如果您在研究中发现 [AttGAN](https://ieeexplore.ieee.org/document/8718508?source=authoralert) 有用,请考虑引用:
@ARTICLE{8718508,
author={Z. {He} and W. {Zuo} and M. {Kan} and S. {Shan} and X. {Chen}},
journal={IEEE Transactions on Image Processing},
title={AttGAN: Facial Attribute Editing by Only Changing What You Want},
year={2019},
volume={28},
number={11},
pages={5464-5478},
keywords={Face;Facial features;Task analysis;Decoding;Image reconstruction;Hair;Gallium nitride;Facial attribute editing;attribute style manipulation;adversarial learning},
doi={10.1109/TIP.2019.2916751},
ISSN={1057-7149},
month={Nov},}