#MuseTalk
MuseTalk - 音频驱动的实时高质量唇形同步模型
MuseTalk实时唇形同步AI虚拟人音频驱动潜在空间修复Github开源项目
MuseTalk是一款实时高质量的音频驱动唇形同步模型,可在NVIDIA Tesla V100上以30fps+的速度运行。该模型能根据输入音频修改未见过的人脸,支持多种语言,并可调整面部区域中心点来影响生成效果。MuseTalk在HDTF数据集上训练,可与MuseV等虚拟人技术结合,为生成具全身动作和交互能力的虚拟人奠定基础。
VideoChat - 通过GLM-4-Voice和级联语音方案实现低延迟交互的数字人对话系统
数字人语音交互音色克隆GLM-4-VoiceMuseTalkGithub开源项目
数字人对话系统提供支持实时语音交互的平台，采用GLM-4-Voice结合ASR-LLM-TTS-THG技术，实现低延迟和音色克隆。用户可选择端到端或级联系统，享受3秒首包延迟的优势。项目支持本地部署和多种推理方式，结合FunASR、Qwen和MuseTalk技术，提升视频和语音合成稳定性。该系统为开发者提供灵活高效的语音对话解决方案。