访问官网
Github
Huggingface
文档
论文StreamSpeech 项目介绍
StreamSpeech 是一个为多任务学习而设计的同时语音到语音翻译系统，由张少磊、方青凯、郭首涛、马政瑞、张敏和冯洋几位作者共同开发。该项目将在即将召开的ACL 2024会议上发表论文，论文题为“StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning”。
项目亮点
- 状态的艺术表现：在离线和同时语音到语音的翻译领域都达到了最先进的表现。
- 无缝模型整合：通过“多合一”无缝模型实现流式的自动语音识别（ASR），同时语音到文本翻译（S2TT）以及同时语音到语音翻译（S2ST）。
- 低延迟沟通体验：在同时翻译过程中可以提供中间结果（即ASR或翻译结果），为用户提供更全面的低延时沟通体验。
项目的特色
支持的任务
StreamSpeech 支持八项任务：
- 离线模式：语音识别（ASR）、语音到文本翻译（S2TT）、语音到语音翻译（S2ST）、语音合成（TTS）
- 同时模式：流式ASR、同时S2TT、同时S2ST、实时TTS，这些都可以通过一个模型在任何延迟下实现。
图形用户界面（GUI）演示
StreamSpeech 提供了一个Web GUI演示，使用户能够在本地浏览器中体验项目的实际应用效果。在演示中，可以看到系统如何同时提供ASR、翻译和合成的结果。
典型案例
以下是StreamSpeech项目的实际应用场景：
- 语音输入：一段法语音频。
- 文字识别结果（参考事实）：法语字符串。
- 翻译结果（参考事实）：翻译成对应的英语句子。
在同时和离线模式下，StreamSpeech均能准确进行语音识别和翻译，体现了它在实际应用中的卓越性能。
安装与使用
StreamSpeech 的环境需求：
- Python 3.10
- PyTorch 2.0.1
- 需要安装fairseq和SimulEval库
用户可以通过简单的安装命令来设置项目的环境，并下载必要的模型文件，为项目的推理和测试做好准备。
快速开始
模型下载
StreamSpeech 提供多种语言的模型，包括法语-英语、西班牙语-英语和德语-英语的翻译模型。用户可以选择在Huggingface或百度网盘上下载相应的模型文件。
数据准备和配置
用户需要根据SimulEval的格式准备测试数据，设置配置文件以开始推理。
开发您的StreamSpeech
StreamSpeech项目中提供了一整套工具和脚本，帮助开发者训练和评估自己的模型。用户可以根据项目中的指导文档，处理数据，训练模型，并通过各种评估脚本来测试模型的性能。
项目成果
StreamSpeech项目网站提供了用于展示的翻译音频样例，感兴趣的用户可以访问该网站聆听这些样例，亲身体验StreamSpeech的翻译效果。
引用
如果StreamSpeech项目对您的工作有帮助，欢迎引用该项目。作者也非常欢迎大家提交问题或通过邮件联系以获取更多帮助。
