V-Express: 使用条件性丢弃实现渐进式训练的人像视频生成

简介

在人像视频生成领域，使用单张图像生成人像视频已变得越来越普遍。一种常见的方法是利用生成模型来增强适配器以实现可控生成。然而，控制信号的强度可能各不相同，包括文本、音频、图像参考、姿势、深度图等。其中，较弱的条件往往难以发挥作用，因为它们会受到较强条件的干扰，这就带来了平衡这些条件的挑战。在我们的人像视频生成工作中，我们发现音频信号特别微弱，常常被姿势和原始图像等较强信号所掩盖。然而，直接使用弱信号训练往往会导致收敛困难。为解决这个问题，我们提出了V-Express，这是一种通过一系列渐进式丢弃操作来平衡不同控制信号的简单方法。我们的方法逐步实现了弱条件的有效控制，从而达到同时考虑姿势、输入图像和音频的生成能力。

发布

• [2024/06/15] 🔥 我们优化了内存使用，现在支持生成更长的视频。
• [2024/06/05] 🔥 我们在arXiv上发布了技术报告。
• [2024/06/03] 🔥 如果你使用ComfyUI，可以尝试ComfyUI-V-Express。
• [2024/05/29] 🔥 我们添加了视频后处理，可以有效缓解闪烁问题。
• [2024/05/23] 🔥 我们发布了代码和模型。

安装

# 下载代码
git clone https://github.com/tencent-ailab/V-Express

# 安装依赖
cd V-Express
pip install -r requirements.txt

# 下载模型
git lfs install
git clone https://huggingface.co/tk93/V-Express
mv V-Express/model_ckpts model_ckpts
mv V-Express/*.bin model_ckpts/v-express

# 然后你就可以使用脚本了

下载模型

你可以从这里下载模型。我们已在模型卡中包含了所有必需的模型。你也可以从原始仓库单独下载模型。

• stabilityai/sd-vae-ft-mse
• runwayml/stable-diffusion-v1-5。这里只需要unet的模型配置文件。
• facebook/wav2vec2-base-960h
• insightface/buffalo_l

使用方法

重要提醒

${\color{red}重要！重要！！重要！！！}$

在说话人脸生成任务中，当目标视频与参考人物不是同一个人时，面部的重定向将是一个非常重要的部分。选择与参考面部姿势更相似的目标视频将能获得更好的结果。此外，我们的模型目前在英语上表现更好，其他语言尚未进行详细测试。

运行演示（步骤1，可选）

如果你有目标说话视频，可以按照下面的脚本从视频中提取音频和面部V-kps序列。你也可以跳过这一步，直接运行步骤2中的脚本来尝试我们提供的示例。

python scripts/extract_kps_sequence_and_audio.py \
    --video_path "./test_samples/short_case/AOC/gt.mp4" \
    --kps_sequence_save_path "./test_samples/short_case/AOC/kps.pth" \
    --audio_save_path "./test_samples/short_case/AOC/aud.mp3"

我们建议如下例所示裁剪一个清晰的正方形人脸图像，并确保分辨率不低于512x512。下图中从绿色到红色的框是推荐的裁剪范围。

运行演示（步骤2，核心）

场景1（A的图片和A的说话视频）（最佳实践）

如果你有A的图片和A在另一个场景中的说话视频。那么你应该运行以下脚本。我们的模型能够生成与给定视频一致的说话视频。你可以在我们的项目页面上看到更多示例。

python inference.py \
    --reference_image_path "./test_samples/short_case/AOC/ref.jpg" \
    --audio_path "./test_samples/short_case/AOC/aud.mp3" \
    --kps_path "./test_samples/short_case/AOC/kps.pth" \
    --output_path "./output/short_case/talk_AOC_no_retarget.mp4" \
    --retarget_strategy "no_retarget" \
    --num_inference_steps 25

${\color{red}新功能！！！}$ 我们优化了内存使用，现在支持生成更长的视频。对于31秒的音频，在V100测试环境中需要7956MiB的峰值内存，总处理时间为2617.4秒。你可以使用以下脚本尝试。

[!注意] ./test_samples/short_case/AOC/v_exprss_intro_chattts.mp3是使用ChatTTS生成的大约30秒的长音频片段，我们只需输入一段文本。然后我们使用V-Express生成人像视频。这可能是一个有趣的流程。

python inference.py \
    --reference_image_path "./test_samples/short_case/AOC/ref.jpg" \
    --audio_path "./test_samples/short_case/AOC/v_exprss_intro_chattts.mp3" \
    --kps_path "./test_samples/short_case/AOC/AOC_raw_kps.pth" \
    --output_path "./output/short_case/talk_AOC_raw_kps_chattts_no_retarget.mp4" \
    --retarget_strategy "no_retarget" \
    --num_inference_steps 25 \
    --reference_attention_weight 1.0 \
    --audio_attention_weight 1.0 \
    --save_gpu_memory

场景2（A的图片和任何说话音频）

如果你只有一张图片和任何说话音频。使用以下脚本，我们的模型可以为固定的面部生成生动的口型动作。

python inference.py \
    --reference_image_path "./test_samples/short_case/tys/ref.jpg" \
    --audio_path "./test_samples/short_case/tys/aud.mp3" \
    --output_path "./output/short_case/talk_tys_fix_face.mp4" \
    --retarget_strategy "fix_face" \
    --num_inference_steps 25

场景3（A的图片和B的说话视频）

• 使用以下脚本，我们的模型生成生动的口型动作，伴随着轻微的面部运动。

python inference.py \
    --reference_image_path "./test_samples/short_case/tys/ref.jpg" \
    --audio_path "./test_samples/short_case/tys/aud.mp3" \
    --kps_path "./test_samples/short_case/tys/kps.pth" \
    --output_path "./output/short_case/talk_tys_offset_retarget.mp4" \
    --retarget_strategy "offset_retarget" \
    --num_inference_steps 25

• 使用以下脚本，我们的模型可以生成与目标视频具有相同动作的视频，并且角色的口型与目标音频同步。

[!注意] 目前我们仅实现了非常简单的重定向策略，这使我们能够在有限条件下用不同的角色视频驱动参考面部。为获得更好的结果，我们强烈建议您选择一个更接近参考面部的目标视频。我们也正在尝试实现一种更稳健的面部重定向策略，希望能进一步解决参考面部与目标面部不一致的问题。我们也欢迎有经验的人士提供帮助。

python inference.py \
    --reference_image_path "./test_samples/short_case/tys/ref.jpg" \
    --audio_path "./test_samples/short_case/tys/aud.mp3" \
    --kps_path "./test_samples/short_case/tys/kps.pth" \
    --output_path "./output/short_case/talk_tys_naive_retarget.mp4" \
    --retarget_strategy "naive_retarget" \
    --num_inference_steps 25 \
    --reference_attention_weight 1.0 \
    --audio_attention_weight 1.0

更多参数

对于不同类型的输入条件，如参考图像和目标音频，我们提供了参数来调整该条件信息在模型预测中所起的作用。我们将这两个参数称为reference_attention_weight和audio_attention_weight。可以使用以下脚本应用不同的参数来实现不同的效果。通过我们的实验，我们建议reference_attention_weight取值0.9-1.0，audio_attention_weight取值1.0-3.0。

python inference.py \
    --reference_image_path "./test_samples/short_case/10/ref.jpg" \
    --audio_path "./test_samples/short_case/10/aud.mp3" \
    --output_path "./output/short_case/talk_10_fix_face_with_weight.mp4" \
    --retarget_strategy "fix_face" \    # 此策略不需要kps信息
    --reference_attention_weight 0.95 \
    --audio_attention_weight 3.0

我们在以下视频中展示了不同参数产生的不同效果。您可以根据需要相应调整参数。

致谢

我们要感谢magic-animate、AnimateDiff、sd-webui-controlnet和Moore-AnimateAnyone仓库的贡献者，感谢他们的开放研究和探索。

V-Express的代码发布用于学术和商业用途。然而，从V-Express手动下载和自动下载的模型仅供非商业研究使用。我们发布的检查点也仅供研究使用。用户可以自由使用此工具创建视频，但有义务遵守当地法律并负责任地使用。开发者不承担用户可能滥用的任何责任。

引用

如果您发现V-Express对您的研究和应用有用，请使用以下BibTeX进行引用：

@article{wang2024V-Express,
  title={V-Express: Conditional Dropout for Progressive Training of Portrait Video Generation},
  author={Wang, Cong and Tian, Kuan and Zhang, Jun and Guan, Yonghang and Luo, Feng and Shen, Fei and Jiang, Zhiwei and Gu, Qing and Han, Xiao and Yang, Wei},
  booktitle={arXiv preprint arXiv:2406.02511},
  year={2024}
}