Logo
Project Icon

SyncTalk

同步技术驱动的高质量说话头像合成

SyncTalk头像合成人工智能计算机视觉CVPRGithub开源项目

SyncTalk项目通过三平面哈希表示法实现高度同步的说话头像视频合成。该技术生成同步的唇部运动、面部表情和稳定的头部姿势，同时还原发型细节，创造高分辨率视频。在保持人物身份的同时，项目显著提升了说话头像的自然度和真实感。

访问官网访问官网GithubGithubHuggingfaceHuggingface论文论文
介绍相关项目

SyncTalk：会说话的头像合成中的同步魔鬼😈 [CVPR 2024]

这是论文 SyncTalk: 会说话的头像合成中的同步魔鬼 的官方代码仓库

论文 | 项目主页 | 代码

Colab 笔记本演示: 在 Colab 中打开

短视频演示可以在这里找到。

提出的 SyncTalk 合成同步的会说话的头像视频，采用三平面哈希表示来保持主体身份。它可以生成同步的唇部动作、面部表情和稳定的头部姿势，并恢复头发细节以创建高分辨率视频。

🔥🔥🔥 新闻

  • [2023-11-30] 更新 arXiv 论文。
  • [2024-03-04] 发布代码和预训练模型。
  • [2024-03-22] 发布 Google Colab 笔记本。
  • [2024-04-14] 添加 Windows 支持。
  • [2024-04-28] 发布预处理代码。
  • [2024-04-29] 修复错误：音频编码器、形状捕捉和人脸跟踪。
  • [2024-05-03] 尝试用高斯散射替换 NeRF。代码：GS-SyncTalk
  • [2024-05-24] 引入躯干训练以修复双下巴。

Windows 版本

感谢 okgpt，我们推出了 Windows 集成包，你可以下载 SyncTalk-Windows.zip 并解压，双击 inference.bat 运行演示。

下载链接：Hugging Face || 百度网盘

Linux 版本

安装

在 Ubuntu 18.04、Pytorch 1.12.1 和 CUDA 11.3 上测试通过。

git clone https://github.com/ZiqiaoPeng/SyncTalk.git
cd SyncTalk

安装依赖

conda create -n synctalk python==3.8.8
conda activate synctalk
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
sudo apt-get install portaudio19-dev
pip install -r requirements.txt
pip install --no-index --no-cache-dir pytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py38_cu113_pyt1121/download.html
pip install tensorflow-gpu==2.8.1
pip install ./freqencoder
pip install ./shencoder
pip install ./gridencoder
pip install ./raymarching

如果安装 PyTorch3D 遇到问题，可以使用以下命令安装：

python ./scripts/install_pytorch3d.py

数据准备

预训练模型

请将 May.zip 放在 data 文件夹中，将 trial_may.zip 放在 model 文件夹中，然后解压它们。

[新] 处理你的视频

  • 准备人脸解析模型。

    wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_parsing/79999_iter.pth?raw=true -O data_utils/face_parsing/79999_iter.pth

  • 准备用于头部姿势估计的 3DMM 模型。

    wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/exp_info.npy?raw=true -O data_utils/face_tracking/3DMM/exp_info.npy
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/keys_info.npy?raw=true -O data_utils/face_tracking/3DMM/keys_info.npy
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/sub_mesh.obj?raw=true -O data_utils/face_tracking/3DMM/sub_mesh.obj
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/topology_info.npy?raw=true -O data_utils/face_tracking/3DMM/topology_info.npy

  • 从 Basel Face Model 2009 下载 3DMM 模型：

    # 1. 复制 01_MorphableModel.mat 到 data_util/face_tracking/3DMM/
# 2.
  cd data_utils/face_tracking
  python convert_BFM.py

  • 将你的视频放在 data/<ID>/<ID>.mp4 下，然后运行以下命令处理视频。

    [注意] 视频必须是 25FPS，所有帧都包含说话的人。分辨率应该约为 512x512，时长约 4-5 分钟。

    python data_utils/process.py data/<ID>/<ID>.mp4 --asr ave

    你可以选择使用 AVE、DeepSpeech 或 Hubert。处理后的视频将保存在 data 文件夹中。

  • [可选] 获取眨眼的 AU45

    在 OpenFace 中运行 FeatureExtraction，重命名并移动输出的 CSV 文件到 data/<ID>/au.csv。

    [注意] 由于 EmoTalk 的形状捕捉未开源，这里的预处理代码被替换为 mediapipe 的形状捕捉。但根据一些反馈，它效果不佳，你可以选择用 AU45 替换。如果你想与 SyncTalk 进行比较，可以在这里获取一些使用 EmoTalk 捕捉的结果，以及 GeneFace 的视频。

快速开始

运行评估代码

python main.py data/May --workspace model/trial_may -O --test --asr_model ave

python main.py data/May --workspace model/trial_may -O --test --asr_model ave --portrait

"ave" 指的是我们的音视频编码器，"portrait" 表示将生成的人脸贴回原图，代表更高的质量。

如果运行正确，你将得到以下结果。

设置PSNRLPIPSLMD
SyncTalk (不带 Portrait)32.2010.03942.822
SyncTalk (带 Portrait)37.6440.01172.825

这是针对单个主体的结果；论文报告了多个主体的平均结果。

使用目标音频进行推理

python main.py data/May --workspace model/trial_may -O --test --test_train --asr_model ave --portrait --aud ./demo/test.wav

请使用 ".wav" 扩展名的文件进行推理，推理结果将保存在 "model/trial_may/results/" 中。如果不使用音视频编码器，请将 wav 替换为 npy 文件路径。

  • DeepSpeech

    python data_utils/deepspeech_features/extract_ds_features.py --input data/<name>.wav # 保存到 data/<name>.npy

  • HuBERT

# 借鉴自GeneFace。英语预训练。
python data_utils/hubert.py --wav data/<name>.wav # 保存到 data/<name>_hu.npy

训练

# 默认情况下，我们是即时从磁盘加载数据。
# 我们也可以预先将所有数据加载到CPU/GPU以加快训练速度，但这对大型数据集来说非常耗内存。
# `--preload 0`: 从磁盘加载（默认，较慢）。
# `--preload 1`: 加载到CPU（稍慢）
# `--preload 2`: 加载到GPU（快速）
python main.py data/May --workspace model/trial_may -O --iters 60000 --asr_model ave
python main.py data/May --workspace model/trial_may -O --iters 100000 --finetune_lips --patch_size 64 --asr_model ave

# 或者你可以使用脚本进行训练
sh ./scripts/train_may.sh

[提示] 音视频编码器（AVE）适用于唇形同步准确且嘴唇运动幅度大的角色，如May和Shaheen。在推理阶段使用AVE可以实现更准确的唇形同步。如果您的训练结果出现嘴唇抖动，请尝试使用deepspeech或hubert模型作为音频特征编码器。

# 使用deepspeech模型
python main.py data/May --workspace model/trial_may -O --iters 60000 --asr_model deepspeech
python main.py data/May --workspace model/trial_may -O --iters 100000 --finetune_lips --patch_size 64 --asr_model deepspeech

# 使用hubert模型
python main.py data/May --workspace model/trial_may -O --iters 60000 --asr_model hubert
python main.py data/May --workspace model/trial_may -O --iters 100000 --finetune_lips --patch_size 64 --asr_model hubert

如果您想使用OpenFace的au45作为眼睛参数，请在命令行中添加"--au45"。

# 使用OpenFace AU45
python main.py data/May --workspace model/trial_may -O --iters 60000 --asr_model ave --au45
python main.py data/May --workspace model/trial_may -O --iters 100000 --finetune_lips --patch_size 64 --asr_model ave --au45

测试

python main.py data/May --workspace model/trial_may -O --test --asr_model ave --portrait

训练与测试躯干 [修复双下巴]

如果您的角色只训练头部出现双下巴问题，您可以引入躯干训练。通过训练躯干，可以解决这个问题，但是**您将无法使用"--portrait"模式。**如果您添加"--portrait"，躯干模型将失效！

# 训练
# <head>.pth 应该是trial_may中最新的检查点
python main.py data/May/ --workspace model/trial_may_torso/ -O --torso --head_ckpt <head>.pth --iters 150000 --asr_model ave

# 例如
python main.py data/May/ --workspace model/trial_may_torso/ -O --torso --head_ckpt model/trial_may/ngp_ep0019.pth --iters 150000 --asr_model ave

# 测试
python main.py data/May --workspace model/trial_may_torso -O  --torso --test --asr_model ave  # 不支持 --portrait

# 使用目标音频进行推理
python main.py data/May --workspace model/trial_may_torso -O  --torso --test --test_train --asr_model ave --aud ./demo/test.wav # 不支持 --portrait

引用

@InProceedings{peng2023synctalk,
  title     = {SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis}, 
  author    = {Ziqiao Peng and Wentao Hu and Yue Shi and Xiangyu Zhu and Xiaomei Zhang and Jun He and Hongyan Liu and Zhaoxin Fan},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month     = {June},
  year      = {2024},
}

致谢

本代码的开发主要依赖于ER-NeRF，以及RAD-NeRF、GeneFace、DFRF、DFA-NeRF、AD-NeRF和Deep3DFaceRecon_pytorch。

感谢这些优秀的项目。感谢Tiandishihua帮助我们修复了损失等于NaN的bug。

免责声明

使用"SyncTalk"的用户同意遵守所有适用的法律和法规，并承认严格禁止滥用软件，包括创建或分发有害内容。软件开发者对因使用或滥用软件而产生的任何直接、间接或后果性损害概不负责。

相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号