访问官网
Github
Huggingface
论文:book: 基于深度感知的生成对抗网络用于对话头视频生成 (CVPR 2022)
:fire: 如果DaGAN在您的照片/项目中有帮助,请帮助:star:它或向您的朋友推荐。谢谢:fire:
:fire: 寻求合作和实习机会。 :fire:
[论文] [项目页面] [演示] [海报视频]
Fa-Ting Hong, Longhao Zhang, Li Shen, Dan Xu
香港科技大学
阿里云
卡通示例
真人示例
Voxceleb1 数据集
:triangular_flag_on_post: 更新
-
:fire::fire::white_check_mark: 2023年7月20日: 我们的新对话头工作**MCNet被ICCV2023收录。它无需训练面部深度网络,使用户测试和微调更加便捷。
-
:fire::fire::white_check_mark: 2022年7月26日: 发布了普通的数据并行训练脚本,因为一些研究人员告诉我他们遇到了DistributedDataParallel问题。请尝试使用这个命令训练您自己的模型。另外,我们删除了命令行"with torch.autograd.set_detect_anomaly(True)"以提高训练速度。
-
:fire::fire::white_check_mark: 2022年6月26日: 发布了我们的面部深度网络repo,请参考Face-Depth-Network,如果您遇到任何问题,欢迎随时给我发电子邮件。
-
:fire::fire::white_check_mark: 2022年6月21日: [题外话] 我正在寻找明年欧洲的研究实习/研究助理机会。如果您认为我有资格担任您的职位,请联系我。
-
:fire::fire::white_check_mark: 2022年5月19日: 在Voxceleb2上训练的50层深度面部模型已发布!(DaGAN的相应检查点即将发布)。点击链接
-
:fire::fire::white_check_mark: 2022年4月25日: 使用Gradio集成到Huggingface Spaces 🤗。试试网页演示:
(GPU版本即将推出!)
-
:fire::fire::white_check_mark: 添加**SPADE模型**,它产生的结果更加自然。
:wrench: 依赖和安装
- Python >= 3.7 (建议使用Anaconda或Miniconda)
- PyTorch >= 1.7
- 选项: NVIDIA GPU + CUDA
- 选项: Linux
安装
我们现在提供了一个DaGAN的干净版本,不需要定制的CUDA扩展。
-
克隆代码库
git clone https://github.com/harlanhong/CVPR2022-DaGAN.git cd CVPR2022-DaGAN -
安装依赖包
pip install -r requirements.txt ## 安装人脸对齐库 cd face-alignment pip install -r requirements.txt python setup.py install
:zap: 快速推理
我们以论文版本为例。更多模型可在此处找到。
YAML 配置
查看 config/vox-adv-256.yaml 以获取每个参数的描述。
预训练检查点
人脸深度网络的预训练检查点和我们的DaGAN检查点可在以下链接找到: OneDrive。
推理! 要运行演示,请下载检查点并运行以下命令:
CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-adv-256.yaml --driving_video path/to/driving --source_image path/to/source --checkpoint path/to/checkpoint --relative --adapt_scale --kp_num 15 --generator DepthAwareGenerator
结果将保存在 result.mp4。驱动视频和源图像需要先进行裁剪才能用于我们的方法。您可以使用 python crop-video.py --inp some_youtube_video.mp4 获取一些半自动裁剪建议。它将生成使用 ffmpeg 的裁剪命令。
:computer: 训练
数据集
- VoxCeleb。请遵循 https://github.com/AliaksandrSiarohin/video-preprocessing 中的说明。
在VoxCeleb上训练
要在特定数据集上训练模型,请运行:
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m torch.distributed.launch --master_addr="0.0.0.0" --master_port=12348 run.py --config config/vox-adv-256.yaml --name DaGAN --rgbd --batchsize 12 --kp_num 15 --generator DepthAwareGenerator
CUDA_VISIBLE_DEVICES=0,1,2,3 python run_dataparallel.py --config config/vox-adv-256.yaml --device_ids 0,1,2,3 --name DaGAN_voxceleb2_depth --rgbd --batchsize 48 --kp_num 15 --generator DepthAwareGenerator
代码将在 log 目录中创建一个文件夹(每次运行都会创建一个新的名称特定的目录)。检查点将被保存到此文件夹中。要查看训练期间的损失值,请查看 log.txt。
默认情况下,批量大小是针对 8 个 GeForce RTX 3090 GPU 调优的(您可以在大约 150 个 epoch 后获得最佳性能)。您可以在 .yaml 文件的 train_params 中更改批量大小。
您还可以通过运行以下命令观看训练损失:
tensorboard --logdir log/DaGAN/log
当您在训练过程中出于某些原因杀死进程时,可能会出现僵尸进程,您可以使用我们提供的工具将其杀死:
python kill_port.py PORT
在您自己的数据集上训练
-
将所有视频调整为相同的大小,例如 256x256,视频可以是 '.gif'、'.mp4' 或包含图像的文件夹。我们建议使用后者,对于每个视频,都要创建一个单独的文件夹,其中包含所有以 '.png' 格式的帧。这种格式是无损的,并且具有更好的 i/o 性能。
-
创建一个文件夹
data/dataset_name并包含 2 个子文件夹train和test,将训练视频放在train中,测试视频放在test中。 -
创建一个配置文件
config/dataset_name.yaml,在 dataset_params 中指定根目录root_dir: data/dataset_name。还要调整 train_params 中的 epoch 数。
:scroll: 致谢
我们的 DaGAN 实现受到 FOMM 的启发。我们感谢 FOMM 的作者为公众提供他们的代码。
:scroll: 参考文献
@inproceedings{hong2022depth,
title={Depth-Aware Generative Adversarial Network for Talking Head Video Generation},
author={Hong, Fa-Ting and Zhang, Longhao and Shen, Li and Xu, Dan},
journal={IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2022}
}
@article{hong2023dagan,
title={DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head Video Generation},
author={Hong, Fa-Ting and and Shen, Li and Xu, Dan},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year={2023}
}
:e-mail: 联系
如果您有任何问题或合作需求(研究目的或商业目的),请发送电子邮件至 fhongac@cse.ust.hk。
