访问官网
Github
Huggingface
论文视频聊天项目是一个先进的实时语音交互数字人平台，专为实现交互式的数字人交流而设计。该项目提供两种语音生成方案：端到端的语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG），这两种方案都具有独特的技术优势和灵活的应用场景。
用户可以通过该平台自定义数字人的形象与音色，甚至可以使用音色克隆功能，实现个性化的语音互动体验。该平台的首包延迟非常低，级联方案仅需约3秒，确保用户获得流畅的交互体验。
在技术选择方面，视频聊天项目采用了多种最新的技术，包括自动语音识别（ASR）、大语言模型（LLM）、多模态大语言模型（MLLM），以及文本转语音（TTS）和人脸生成（THG）等，每一个技术模块都是经过精心挑选和优化，以确保平台的稳定性和高效性。
项目的本地部署需要一定的硬件支持，例如，对于级联方案需要约8G显存，端到端语音方案则需要约20G显存。此外，本地运行环境要求使用Ubuntu 22.04和Python 3.10，以及相关的CUDA和PyTorch配置，以便充分发挥硬件性能。
在权重文件的管理上，项目提供了两种下载方式，用户可以选择创空间下载以获得更佳的下载体验，或者根据具体需求手动下载相关文件。
为了满足不同用户的需求，项目在LLM和TTS模块中提供了多种推理方式。如果用户机器性能有限，还可以使用API调用的方式，通过阿里云的大模型服务平台获取支持。同时，项目也提供本地推理方式，用户可以通过Qwen和vLLM技术实现高效的运行。
项目启动和自定义数字人的使用十分方便，用户仅需要按步骤设置好开发环境，下载合适的权重文件，并在启动应用程序后，便可以开始体验和使用自定义的数字人形象，打造属于自己的独特互动体验。
该项目为那些希望在数字人交互领域探索和实践的开发者们提供了一个创新平台，结合最新的AI技术，赋予用户极大的自由度和创意空间。
