Logo
Project Icon

AniTalker

面部动画生成技术通过解耦身份和运动编码实现多样化表现

AniTalkerAI绘图人脸动画语音驱动深度学习Github开源项目

AniTalker是一个面部动画生成项目，通过解耦身份和面部运动编码实现多样化的说话面部动画。该技术根据音频和图像生成说话头像，支持控制头部姿态、位置和缩放。项目提供多个预训练模型，包括基于Hubert和MFCC的音频特征提取，适用于不同场景。AniTalker为创作和研究提供了生成说话面部动画的工具。

访问官网访问官网GithubGithubHuggingfaceHuggingface论文论文
介绍相关项目

X-LANCE%2FAniTalker | Trendshift

AniTalker

通过身份解耦的面部运动编码实现生动多样的会说话的面孔动画


论文的更新版本将稍后上传

整体流程

更新

环境安装

conda create -n anitalker python==3.9.0
conda activate anitalker
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
pip install -r requirements.txt

Windows教程（由newgenai79提供）

MacOS教程（由airwzz999提供）

模型库

请从此链接下载检查点并将它们放入ckpts文件夹

[中文用户] 对于中国用户，我们建议您访问这里下载。

ckpts/
├── chinese-hubert-large
├──── config.json
├──── preprocessor_config.json
├──── pytorch_model.bin
├── stage1.ckpt
├── stage2_pose_only_mfcc.ckpt
├── stage2_full_control_mfcc.ckpt
├── stage2_audio_only_hubert.ckpt
├── stage2_pose_only_hubert.ckpt
└── stage2_full_control_hubert.ckpt

模型描述：

阶段模型名称仅音频推理额外控制信号
第一阶段stage1.ckpt-动作编码器和图像渲染器
第二阶段（Hubert）stage2_audio_only_hubert.ckpt是-
第二阶段（Hubert）stage2_pose_only_hubert.ckpt是头部姿态
第二阶段（Hubert）stage2_full_control_hubert.ckpt是头部姿态/位置/缩放
第二阶段（MFCC）stage2_pose_only_mfcc.ckpt是头部姿态
第二阶段（MFCC）stage2_full_control_mfcc.ckpt是头部姿态/位置/缩放
  • stage1.ckpt在单图像视频数据集上训练，旨在学习动作的迁移。训练后，它利用动作编码器（用于提取与身份无关的动作）和图像渲染器。
  • 以stage2开头的模型在带有音频的视频数据集上训练，除非另有说明，均从头开始训练。
  • stage2_audio_only_hubert.ckpt输入音频特征为Hubert，没有任何控制信号。适用于面部朝前的场景，相比可控制模型，需要较少的参数调整即可获得满意结果。[我们建议从这个模型开始]
  • stage2_pose_only_hubert.ckpt与stage2_pose_only_mfcc.ckpt类似，区别在于音频特征为Hubert。与仅音频模型相比，它包含姿态控制信号。
  • stage2_more_controllable_hubert.ckpt与stage2_more_controllable_mfcc.ckpt类似，但使用Hubert作为音频特征。
  • stage2_pose_only_mfcc.ckpt输入音频特征为MFCC，并包含姿态控制信号（偏航、俯仰、翻滚角度）。[MFCC模型性能较差，不建议使用。]
  • stage2_more_controllable_mfcc.ckpt输入音频特征为MFCC，除姿态外还添加了面部位置和面部缩放的控制信号。
  • chinese-hubert-large用于提取音频特征。

快速指南：

  • 考虑到可用性和模型性能，我们推荐使用stage2_audio_only_hubert.ckpt。
  • 如果您需要更多控制，请使用带有可控制后缀的模型。可控制模型通常表现力更强，但需要更多参数调整。
  • 所有stage2模型在禁用控制标志的情况下也可以仅通过音频生成。

运行演示

demo.py参数说明

主要推理脚本（Hubert，更好的结果 💪）- 推荐

python ./code/demo.py \
    --infer_type 'hubert_audio_only' \
    --stage1_checkpoint_path 'ckpts/stage1.ckpt' \
    --stage2_checkpoint_path 'ckpts/stage2_audio_only_hubert.ckpt' \
    --test_image_path 'test_demos/portraits/monalisa.jpg' \
    --test_audio_path 'test_demos/audios/monalisa.wav' \
    --test_hubert_path 'test_demos/audios_hubert/monalisa.npy' \
    --result_path 'outputs/monalisa_hubert/'

查看更多Hubert案例

单张肖像结果

生成的原始视频 (256 * 256)

用户提交画廊

您可以通过issue提交您的演示。

肖像结果 (256*256)结果 (512*512)脚本
链接

主要推理脚本 (MFCC，更快 🚀) - 不推荐

[注意] Hubert模型是我们的默认模型。为了环境方便，我们提供了一个MFCC版本，但我们发现Hubert模型的使用率不高，人们仍然更多地使用MFCC。MFCC的效果较差。这违背了我们的初衷，所以我们已经弃用了这个模型。我们建议您从hubert_audio_only模型开始测试。谢谢。

[早期用户升级] 重新下载带有Hubert模型的检查点到ckpts目录，并额外安装 pip install transformers==4.19.2。当代码未检测到Hubert路径时，它会自动提取并提供如何解决遇到的任何错误的额外说明。

仍然显示原始MFCC脚本 ``` python ./code/demo.py \ --infer_type 'mfcc_pose_only' \ --stage1_checkpoint_path 'ckpts/stage1.ckpt' \ --stage2_checkpoint_path 'ckpts/stage2_pose_only_mfcc.ckpt' \ --test_image_path 'test_demos/portraits/monalisa.jpg' \ --test_audio_path 'test_demos/audios/monalisa.wav' \ --result_path 'outputs/monalisa_mfcc/' \ --control_flag \ --seed 0 \ --pose_yaw 0.25 \ --pose_pitch 0 \ --pose_roll 0 ```

面部超分辨率（可选）

目的是将分辨率从256提升到512，并解决模糊渲染的问题。

请在此安装额外的环境：

pip install facexlib
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple
pip install gfpgan

# 忽略以下警告：
# espnet 202301 需要 importlib-metadata<5.0，但你有 importlib-metadata 7.1.0，这是不兼容的。

然后在脚本中启用 --face_sr 选项。第一次运行将下载gfpgan的权重。

最佳实践

1. 使用与肖像相似的姿势 [此建议仅适用于具有姿势控制的模型] 为避免潜在的变形问题（主要由2D包裹引起），建议保持生成的面部角度接近原始肖像角度，或仅允许轻微的角度变化。例如，如果肖像中的面部最初向左旋转，建议使用向左旋转的面部以获得最佳结果。具体来说，向左旋转的面部相当于将yaw值调整到-1和0之间（代表-90到0度的yaw变化）。特别是对于HDTF数据集，建议将pose_yaw、pose_pitch和pose_roll保持在0，因为该数据集主要由正面面孔组成。
2. 保持头部在画面中居中 我们的模型在训练时首先检测面部，然后估计头部位置，大多数头部位于画面中心。因此，请尽可能保持头部居中（这与面部对齐不同）。参考[面部裁剪代码](https://github.com/liutaocode/talking_face_preprocessing?tab=readme-ov-file#facial-part-cropping)中的具体裁剪位置。将头部放在其他位置或面部过大可能会导致一些失真。
3. 使用英语语音 我们的模型主要在英语语音内容上训练，对其他语言的接触很少。因此，最佳实践之一是使用英语音频来驱动模型。如果使用其他语言，我们观察到生成的嘴唇轻微移动或导致图像扭曲和变形等问题。
4. 增强沉浸感 我们发现直视前方可以大大增强生成视频的沉浸感。由于我们的模型不对目光建模，有时会导致空洞或无焦点的眼神，这可能导致沉浸感较差。我们建议控制信号以确保目光尽可能朝向前方。此外，参考一些目光建模算法可能有所帮助，例如[vasa-1](https://www.microsoft.com/en-us/research/project/vasa-1/)和[PD-FGC](https://github.com/Dorniwang/PD-FGC-inference)，这是由[tanshuai0219](https://github.com/tanshuai0219)推荐的，可能对目光建模有潜在的改进。

待办事项

  • 考虑为第一帧添加自动校准，考虑到初始面部位置和形状对结果有一定影响。

我们欢迎对仓库的任何贡献。

问题

1. MFCC和Hubert特征有什么区别？ `MFCC`和`Hubert`都是用于语音分析的前端特征，用于从音频信号中提取特征。`Hubert`特征虽然稳健，但需要大量的环境依赖，并消耗相当多的磁盘空间。因此，为了效率和确保所有用户都能快速访问推理，我们用更轻量级的`MFCC`替代了`Hubert`特征。虽然`MFCC`特征更容易收敛，但表达能力较弱，在跨语言推理方面的表现不如`Hubert`。此外，在文本到语音（TTS）音频和静音片段中可能出现抖动、过度平滑或过度夸张的表情等伪影。
2. 如何应用于更高分辨率？ 我们生成输出的基本分辨率仅为256×256。如果您需要更高的分辨率（例如512×512），可以参考SadTalker中的超分辨率模块。通过在上述管道末端整合超分辨率模块，您可以实现更高分辨率的输出。我们也在我们的代码中集成了这个模块。
3. 如何自动提取或控制其他面部角度？ 如果需要自动控制面部，您可以使用姿态提取算法来实现，例如提取另一个人的姿态来驱动肖像。提取流程的算法已经开源，可以在这个链接找到。
4. 未来会发布其他资源吗？ 由于逼真模型可能带来的风险和伦理问题，我们目前决定不分发额外资源，如训练脚本和其他检查点。对于这一决定可能造成的不便，我们深表歉意。

模型偏差/局限性

关于本库提供的检查点，我们在测试各种音频剪辑和图像时遇到的问题揭示了模型偏差。这些偏差主要是由训练数据集或模型容量造成的，包括但不限于以下几点：

  • 数据集处理面部及其周围区域，不涉及全身或上半身。
  • 数据集主要包含英语，非英语或方言的实例有限。
  • 数据集在处理时使用相对理想的条件，不考虑剧烈变化。
  • 数据集主要关注正常说话速度的语音内容，不考虑不同语速或非语音场景。
  • 数据集仅接触特定人群，可能对不同种族或年龄群体产生偏见。
  • 渲染模型无法建模多视角对象。有时无法将人物与背景分离，特别是无法有效分离人物的配饰和发型。

请根据上述考虑因素谨慎生成内容。

引用

@misc{liu2024anitalker,
      title={AniTalker: Animate Vivid and Diverse Talking Faces through Identity-Decoupled Facial Motion Encoding}, 
      author={Tao Liu and Feilong Chen and Shuai Fan and Chenpeng Du and Qi Chen and Xie Chen and Kai Yu},
      year={2024},
      eprint={2405.03121},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

感谢所有贡献者的努力

我们希望更多人能参与进来，我们将及时处理拉取请求。目前还有一些任务需要帮助，比如处理裁剪流程、创建网页界面以及翻译工作等。

contributors

特别贡献者

访问计数：

counter

致谢

我们衷心感谢众多先前的工作为AniTalker的开发奠定了基础。

第一阶段主要集中在训练运动编码器和渲染模块，严重依赖LIA的资源。第二阶段的扩散训练建立在diffae和espnet的基础上。对于互信息损失的计算，我们实现了CLUB的方法，并在身份网络的训练中使用了AAM-softmax。此外，我们利用了TencentGameMate提供的预训练Hubert模型和MFCC的mfcc特征。

另外，我们使用3DDFA_V2提取头部姿态，使用torchlm获取面部特征点，用于计算面部位置和比例。我们已经在talking_face_preprocessing开源了这些预处理步骤的代码使用。我们认识到在现有知识基础上构建的重要性，并致力于通过分享我们的发现和代码来回馈研究社区。

免责声明

1. 本库代码并非正式产品，我们并未测试所有使用场景，因此不能直接提供给最终服务客户。

2. 公开我们的代码的主要目的是为了便于学术演示和交流。严禁使用此代码传播有害信息。

3. 请在遵守许可文件中指定条款的情况下使用本库，避免不当使用。

4. 使用代码时，请遵循并遵守当地法律法规。

5. 在使用本代码期间，您将承担相应责任。我们公司（思必驰科技股份有限公司）对生成的结果不承担责任。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号