#语音驱动
相关项目
speech-driven-animation
Speech-Driven Animation是一个开源项目，实现语音驱动的端到端面部合成模型。该项目根据输入图像和音频生成面部动画视频，支持GRID、TIMIT和CREMA等预训练模型。通过API可输入自定义音频和图像，输出同步动画视频。项目还提供音频和视频编码器，可用于特征提取和分类任务。
SadTalker
SadTalker是一个开源AI项目，可将单张肖像图片与音频结合生成逼真的动态说话视频。项目采用3D运动系数学习技术，实现音频驱动的单图像说话人脸动画。SadTalker支持全身图像生成和多种增强模式，并提供WebUI界面。该技术可应用于内容创作、虚拟主播等领域。
hallo
Hallo是一个分层音频驱动的视觉合成框架，用于生成人像图像动画。该框架可根据输入音频创建高质量的说话头像视频，支持重现多种经典电影场景。Hallo采用分层设计，整合多个先进模型，实现精细的面部表情和唇形同步。项目提供完整的训练和推理代码，适用于多种应用场景。
Imitator
Imitator是一个3D面部动画生成系统，能将个人语音转化为逼真的面部表情。该项目基于深度学习技术，实现了语音到面部动作的精确映射。Imitator提供通用模型和个性化训练方法，可适应不同说话者的特征。这项技术可应用于虚拟现实、电影制作和人机交互等领域。
AniTalker
AniTalker是一个面部动画生成项目，通过解耦身份和面部运动编码实现多样化的说话面部动画。该技术根据音频和图像生成说话头像，支持控制头部姿态、位置和缩放。项目提供多个预训练模型，包括基于Hubert和MFCC的音频特征提取，适用于不同场景。AniTalker为创作和研究提供了生成说话面部动画的工具。