🤗 简介

更新 🔥🔥🔥 我们提出了一种基于AnimateAnyone管道的人脸重演方法：使用驱动视频的面部特征点来控制给定源图像的姿势，同时保持源图像的身份。特别地，我们从驱动视频的特征点中分离出头部姿态（包括眨眼）和嘴部运动，能够精确控制源人脸的表情和动作。我们发布了人脸重演的推理代码和预训练模型！

更新 🏋️🏋️🏋️ 我们发布了训练代码！现在你可以训练自己的AnimateAnyone模型了。更多详情请参见此处。祝玩得开心！

更新：🔥🔥🔥 我们在这里推出了Moore-AnimateAnyone的HuggingFace Spaces演示！

本仓库复现了AnimateAnyone。为了与原论文展示的结果保持一致，我们采用了各种方法和技巧，这可能与论文和另一个实现略有不同。

值得注意的是，这是一个非常初步的版本，旨在接近AnimateAnyone展示的性能（根据我们的测试，大约为80%）。

我们将继续开发它，同时欢迎社区提供反馈和想法。增强版本也将在我们的MoBi MaLiang AIGC平台上推出，在我们自己的全功能GPU S4000云计算平台上运行。

📝 发布计划

• AnimateAnyone的推理代码和预训练权重
• AnimateAnyone的训练脚本
• 人脸重演的推理代码和预训练权重
• 人脸重演的训练脚本
• 音频驱动肖像视频生成的推理脚本
• 音频驱动肖像视频生成的训练脚本

🎞️ 示例

AnimateAnyone

以下是我们生成的一些AnimateAnyone结果，分辨率为512x768。

[视频示例]

局限性：我们在当前版本中观察到以下缺点：

1. 当参考图像有干净背景时，背景可能会出现一些伪影
2. 当参考图像和关键点之间存在尺度不匹配时，可能会出现次优结果。我们尚未实现论文中提到的预处理技术。
3. 当动作序列细微或场景静态时，可能会出现一些闪烁和抖动。

这些问题将在近期得到解决和改进。感谢您的期待！

人脸重演

以下是我们生成的一些结果，分辨率为512x512。

[视频示例]

⚒️ 安装

构建环境

我们推荐使用Python版本>=3.10和CUDA版本=11.7。然后按如下步骤构建环境：

# [可选] 创建虚拟环境
python -m venv .venv
source .venv/bin/activate
# 使用pip安装：
pip install -r requirements.txt
# 用于面部特征点提取
git clone https://github.com/emilianavt/OpenSeeFace.git

下载权重

自动下载：你可以运行以下命令自动下载权重：

python tools/download_weights.py

权重将被放置在./pretrained_weights目录下。整个下载过程可能需要较长时间。

手动下载：你也可以手动下载权重，步骤如下：

1. 下载我们的AnimateAnyone训练权重，包括四个部分：denoising_unet.pth、reference_unet.pth、pose_guider.pth和motion_module.pth。

2. 下载我们的人脸重演训练权重，并将这些权重放在pretrained_weights下。

3. 下载基础模型和其他组件的预训练权重：

   • StableDiffusion V1.5
   • sd-vae-ft-mse
   • image_encoder

4. 按照这里的说明下载dwpose权重（dw-ll_ucoco_384.onnx、yolox_l.onnx）。

最后，这些权重应按如下方式组织：

[文件结构]

注意：如果你已经安装了一些预训练模型，如StableDiffusion V1.5，你可以在配置文件中指定它们的路径（例如./config/prompts/animation.yaml）。

🚀 训练和推理

AnimateAnyone的推理

以下是运行推理脚本的命令行指令：

python -m scripts.pose2vid --config ./configs/prompts/animation.yaml -W 512 -H 784 -L 64

你可以参考animation.yaml的格式来添加自己的参考图像或姿势视频。要将原始视频转换为姿势视频（关键点序列），你可以运行以下命令：

python tools/vid2pose.py --video_path /path/to/your/video.mp4

人脸重演的推理

以下是运行推理脚本的命令行指令：

python -m scripts.lmks2vid --config ./configs/prompts/inference_reenact.yaml --driving_video_path 你自己的驱动视频路径 --source_image_path 你自己的源图像路径  

我们在./config/inference/talkinghead_images中提供了一些人脸图像，在./config/inference/talkinghead_videos中提供了一些人脸视频用于推理。

AnimateAnyone的训练

注意：软件包依赖已更新，在训练之前，你可以通过pip install -r requirements.txt升级你的环境。

数据准备

从原始视频中提取关键点：

python tools/extract_dwpose_from_vid.py --video_root /path/to/your/video_dir

提取数据集的元信息：

python tools/extract_meta_info.py --root_path /path/to/your/video_dir --dataset_name anyone 

更新训练配置文件中的以下行：

data:
  meta_paths:
    - "./data/anyone_meta.json"

第一阶段

将openpose controlnet权重放在./pretrained_weights下，用于初始化姿态引导器。

将sd-image-variation放在./pretrained_weights下，用于初始化unet权重。

运行命令：

accelerate launch train_stage_1.py --config configs/train/stage1.yaml

第二阶段

将预训练的运动模块权重mm_sd_v15_v2.ckpt（下载链接）放在./pretrained_weights下。

在配置文件stage2.yaml中指定第一阶段的训练权重，例如：

stage1_ckpt_dir: './exp_output/stage1'
stage1_ckpt_step: 30000 

运行命令：

accelerate launch train_stage_2.py --config configs/train/stage2.yaml

🎨 Gradio演示

HuggingFace演示：我们在HuggingFace Spaces上发布了Moore-AnimateAnyone的快速预览演示！ 我们感谢HuggingFace团队在设置这个演示时提供的帮助。

为了减少等待时间，我们在生成视频时限制了大小（宽度、高度和长度）和推理步骤。

如果你有自己的GPU资源（>= 16GB显存），你可以通过以下命令运行本地gradio应用：

python app.py

社区贡献

• Windows用户安装：Moore-AnimateAnyone-for-windows

🖌️ 在Mobi MaLiang上尝试

我们将在我们的MoBi MaLiang AIGC平台上发布这个模型，该平台运行在我们自己的全功能GPU S4000云计算平台上。Mobi MaLiang现已集成各种AIGC应用和功能（如文本生成图像、可控生成等）。你可以通过点击此链接或使用微信扫描下方二维码来体验它！

⚖️ 免责声明

本项目仅用于学术研究，我们明确声明不对用户生成的内容负责。用户在使用生成模型时对自己的行为负全责。项目贡献者与用户的行为没有法律关联，也不承担任何责任。使用生成模型时必须遵守道德和法律标准，负责任地使用。

🙏🏻 致谢

我们首先感谢AnimateAnyone的作者。此外，我们要感谢majic-animate、animatediff和Open-AnimateAnyone仓库的贡献者，感谢他们的开放研究和探索。此外，我们的仓库还包含了来自dwpose和animatediff-cli-prompt-travel的一些代码，我们也向他们表示感谢。