SimSwap: An Efficient Framework For High Fidelity Face Swapping

第28届ACM国际多媒体会议论文集

Pytorch的官方仓库

我们的方法可以通过单一训练模型实现图像和视频中的任意换脸**。**

我们正在招募全职工程师。如果你有兴趣，请发邮件给我的团队，邮件。具体的招聘条件请参考网站：招聘要求

训练和测试代码现已开放！

我们正在与我们的即将到来的论文SimSwap++合作，敬请期待！

高分辨率版本的SimSwap-HQ已经支持！

我们的论文可以从以下链接下载 [Arxiv] [ACM DOI]

本项目还得到了SocialBook的支持。

注意

本项目仅用于技术和学术用途。请不要将其应用于非法和不道德的场景。

如果用户违反其所在国家或地区的法律和伦理要求，本代码库不承担责任。

请不要忽略此README末尾的内容！

如果你觉得这个项目有用，请给它加星。这是对我们工作的最大肯定。

第一个开源的高分辨率换脸数据集！

高分辨率数据集VGGFace2-HQ

依赖

python3.6+
pytorch1.5+
torchvision
opencv
pillow
numpy
imageio
moviepy
insightface
timm==0.5.4

训练

准备工作

训练脚本与原版稍有不同，例如，我们将patch判别器替换为projected判别器，这节省了大量的硬件开销并取得了略好的结果。

为了确保正常训练，batch size必须大于1。

友情提醒，由于训练设置的不同，用户训练的模型在视觉效果上与我们提供的预训练模型会有细微差别。

使用VGGFace2 224*224训练224模型 [Google Driver] VGGFace2-224 (10.8G) [Baidu Driver] [密码：lrod]

为了更快地收敛和更好的结果，推荐较大的batch size（超过16）！

我们推荐训练超过400K次迭代（batch size为16），600K~800K会更好，不推荐更多的迭代次数。

python train.py --name simswap224_test --batchSize 8  --gpu_ids 0 --dataset /path/to/VGGFace2HQ --Gdeep False

[用于训练224模型的Colab演示]

为了更快地收敛和更好的结果，推荐较大的batch size（超过16）！

使用VGGFace2-HQ 512*512训练512模型VGGFace2-HQ。

python train.py --name simswap512_test  --batchSize 16  --gpu_ids 0 --dataset /path/to/VGGFace2HQ --Gdeep True

使用预训练的SimSwap模型进行推理

准备工作

图像或视频换脸推理

Colab演示

更强的功能

[用于多脸视频中特定脸部切换的Colab]

图像换脸演示 & Docker镜像在Replicate上

视频

结果

Results1

Results2 高质量视频请参见以下链接：

[Mama（视频）1080p]

[Google Drive 链接视频 1]

[Google Drive 链接视频 2]

[Google Drive 链接视频 3]

[百度云盘链接] 密码：b26n

[在线视频]

用户案例

如果你在使用我们的项目后有一些有趣的结果并愿意分享，你可以通过电子邮件或在问题页面上直接分享。稍后，我们可能会单独设立一个部分来展示这些结果，这应该会很酷。

同时，如果你对我们的项目有任何建议，请随时在问题页面提问，或直接通过以下电子邮件联系我们：email1，email2，email3。（三个都可以，只需选择一个）

许可

仅限学术和非商业用途。整个项目以 CC-BY-NC 4.0 许可证发布。有关详细信息，请参见 LICENSE。

论文引用

@inproceedings{DBLP:conf/mm/ChenCNG20,
  author    = {Renwang Chen and
               Xuanhong Chen and
               Bingbing Ni and
               Yanhao Ge},
  title     = {SimSwap: An Efficient Framework For High Fidelity Face Swapping},
  booktitle = {{MM} '20: The 28th {ACM} International Conference on Multimedia},
  year      = {2020}
}

@Article{simswapplusplus,
    author  = {Xuanhong Chen and
              Bingbing Ni and
              Yutian Liu and
              Naiyuan Liu and
              Zhilin Zeng and
              Hang Wang},
    title   = {SimSwap++: Towards Faster and High-Quality Identity Swapping},
    journal = {{IEEE} Trans. Pattern Anal. Mach. Intell.},
    volume  = {46},
    number  = {1},
    pages   = {576--592},
    year    = {2024}
}