RealtimeSTT

适用于实时应用的易用、低延迟语音转文本库

新功能

使用OpenWakeWord自定义唤醒词。感谢该项目的开发者们！

关于项目

RealtimeSTT通过麦克风监听并将语音转换为文本。

提示： 查看Linguflex，RealtimeSTT的原始项目。它允许你通过语音控制环境，是目前最强大和复杂的开源助手之一。

它非常适合：

• 语音助手
• 需要快速精确语音转文本的应用

https://github.com/KoljaB/RealtimeSTT/assets/7604638/207cb9a2-4482-48e7-9d2b-0722c3ee6d14

更新

最新版本：v0.2.2

查看发布历史。

提示： 由于我们现在使用multiprocessing模块，请确保在代码中包含if __name__ == '__main__':保护，以防止意外行为，特别是在Windows等平台上。有关为什么这很重要的详细解释，请访问Python官方文档中关于multiprocessing的部分。

特性

• 语音活动检测：自动检测说话的开始和结束。
• 实时转录：实时将语音转换为文本。
• 唤醒词激活：可以通过检测指定的唤醒词来激活。

提示：查看RealtimeTTS，这个库的输出对应部分，用于文本转语音功能。两者结合可以为大型语言模型提供强大的实时音频包装。

技术栈

本库使用：

• 语音活动检测
  • WebRTCVAD用于初始语音活动检测。
  • SileroVAD用于更精确的验证。
• 语音转文本
  • Faster_Whisper用于即时（GPU加速）转录。
• 唤醒词检测
  • Porcupine或OpenWakeWord用于唤醒词检测。

这些组件代表了尖端应用的"行业标准"，为构建高端解决方案提供了最现代和有效的基础。

安装

pip install RealtimeSTT

这将安装所有必要的依赖项，包括仅支持CPU版本的PyTorch。

虽然可以仅使用CPU安装运行RealtimeSTT（在这种情况下使用"tiny"或"base"等小型模型），但使用以下方式会获得更好的体验：

GPU支持与CUDA（推荐）

更新PyTorch以支持CUDA

要升级您的PyTorch安装以启用CUDA的GPU支持，请根据您的具体CUDA版本按照以下说明操作。如果您希望通过CUDA功能提升RealtimeSTT的性能，这将非常有用。

对于CUDA 11.8：

要更新PyTorch和Torchaudio以支持CUDA 11.8，请使用以下命令：

pip install torch==2.3.1+cu118 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118

对于CUDA 12.X：

要更新PyTorch和Torchaudio以支持CUDA 12.X，请执行以下操作：

pip install torch==2.3.1+cu121 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

将2.3.1替换为与您的系统和要求相匹配的PyTorch版本。

可能需要的前置步骤

注意：要检查您的NVIDIA GPU是否支持CUDA，请访问官方CUDA GPU列表。

如果您之前没有使用过CUDA模型，在安装之前可能需要一次性执行一些额外步骤。这些步骤为CUDA支持和GPU优化安装做准备。对于需要更好性能且拥有兼容NVIDIA GPU的用户，推荐使用这种方式。要通过CUDA使用RealtimeSTT的GPU支持，请也遵循以下步骤：

1. 安装NVIDIA CUDA工具包：

   • 在CUDA 11.8或CUDA 12.X工具包之间选择
     • 对于12.X，访问NVIDIA CUDA工具包存档并选择最新版本。
     • 对于11.8，访问NVIDIA CUDA工具包11.8。
   • 选择操作系统和版本。
   • 下载并安装软件。

2. 安装NVIDIA cuDNN：

   • 在CUDA 11.8或CUDA 12.X工具包之间选择
     • 对于12.X，访问cuDNN下载。
       • 选择操作系统和版本。
       • 下载并安装软件。
     • 对于11.8，访问NVIDIA cuDNN存档。
       • 点击"Download cuDNN v8.7.0 (November 28th, 2022), for CUDA 11.x"。
       • 下载并安装软件。

3. 安装ffmpeg：

   注意：安装ffmpeg可能实际上不需要操作RealtimeSTT ^{*感谢jgilbert2017指出这一点}

   您可以从ffmpeg网站下载适合您操作系统的安装程序。

   或使用包管理器：

   • 在Ubuntu或Debian上：

     sudo apt update && sudo apt install ffmpeg
     

   • 在Arch Linux上：

     sudo pacman -S ffmpeg
     

   • 在MacOS上使用Homebrew（https://brew.sh/）：

     brew install ffmpeg
     

   • 在Windows上使用Winget官方文档：

     winget install Gyan.FFmpeg
     

   • 在Windows上使用Chocolatey（https://chocolatey.org/）：

     choco install ffmpeg
     

   • 在Windows上使用Scoop（https://scoop.sh/）：

     scoop install ffmpeg
     

快速入门

基本用法：

手动录音

手动触发录音的开始和停止。

recorder.start()
recorder.stop()
print(recorder.text())

自动录音

基于语音活动检测的录音。

with AudioToTextRecorder() as recorder:
    print(recorder.text())

当在循环中运行recorder.text时，建议使用回调函数，允许异步进行转录：

def process_text(text):
    print(text)
    
while True:
    recorder.text(process_text)

唤醒词

在检测语音之前使用关键词激活。在wake_words参数中写入您想要的激活关键词，以逗号分隔。您可以从以下列表中选择唤醒词：alexa, americano, blueberry, bumblebee, computer, grapefruits, grasshopper, hey google, hey siri, jarvis, ok google, picovoice, porcupine, terminator。

recorder = AudioToTextRecorder(wake_words="jarvis")

print('说"Jarvis"然后开始说话。')
print(recorder.text())

回调函数

您可以为不同事件设置回调函数（参见配置）：

def my_start_callback():
    print("录音开始！")
def my_stop_callback():
    print("录音已停止！")

recorder = AudioToTextRecorder(on_recording_start=my_start_callback,
                               on_recording_stop=my_stop_callback)

输入音频块

如果你不想使用本地麦克风，可以将use_microphone参数设置为false，并使用以下方法提供16位单声道（采样率16000）的原始PCM音频块：

recorder.feed_audio(audio_chunk)

关闭

你可以通过使用上下文管理器协议安全地关闭录音器：

with AudioToTextRecorder() as recorder:
    [...]

或者，如果无法使用"with"语句，你可以手动调用shutdown方法：

recorder.shutdown()

测试库

test子目录包含一组脚本，帮助你评估和理解RealtimeTTS库的功能。

依赖RealtimeTTS库的测试脚本可能需要你在脚本中输入Azure服务区域。 使用OpenAI、Azure或Elevenlabs相关的演示脚本时，应该在环境变量OPENAI_API_KEY、AZURE_SPEECH_KEY和ELEVENLABS_API_KEY中提供API密钥（参见RealtimeTTS）

• simple_test.py

  • 描述：展示库最简单用法的"Hello World"式演示。

• realtimestt_test.py

  • 描述：展示实时转录功能。

• wakeword_test.py

  • 描述：唤醒词激活的演示。

• translator.py

  • 依赖：运行pip install openai realtimetts。
  • 描述：实时翻译成六种不同语言。

• openai_voice_interface.py

  • 依赖：运行pip install openai realtimetts。
  • 描述：基于唤醒词激活和语音的OpenAI API用户界面。

• advanced_talk.py

  • 依赖：运行pip install openai keyboard realtimetts。
  • 描述：在开始AI对话前选择TTS引擎和语音。

• minimalistic_talkbot.py

  • 依赖：运行pip install openai realtimetts。
  • 描述：20行代码实现的基本对话机器人。

example_app子目录包含一个基于PyQt5的OpenAI API精致用户界面应用程序。

配置

AudioToTextRecorder的初始化参数

初始化AudioToTextRecorder类时，你可以使用各种选项来自定义其行为。

通用参数

• model（str，默认为"tiny"）：用于转录的模型大小或路径。

  • 选项：'tiny'、'tiny.en'、'base'、'base.en'、'small'、'small.en'、'medium'、'medium.en'、'large-v1'、'large-v2'。
  • 注意：如果提供了大小，模型将从Hugging Face Hub下载。

• language（str，默认为""）：转录的语言代码。如果留空，模型将尝试自动检测语言。支持的语言代码列在Whisper Tokenizer库中。

• compute_type（str，默认为"default"）：指定用于转录的计算类型。参见Whisper量化

• input_device_index（int，默认为0）：要使用的音频输入设备索引。

• gpu_device_index（int，默认为0）：要使用的GPU设备索引。也可以通过传递ID列表（如[0, 1, 2, 3]）在多个GPU上加载模型。

• device（str，默认为"cuda"）：模型使用的设备。可以是"cuda"或"cpu"。

• on_recording_start：录音开始时触发的可调用函数。

• on_recording_stop：录音结束时触发的可调用函数。

• on_transcription_start：转录开始时触发的可调用函数。

• ensure_sentence_starting_uppercase（bool，默认为True）：确保算法检测到的每个句子以大写字母开头。

• ensure_sentence_ends_with_period（bool，默认为True）：确保每个不以"?"、"!"等标点符号结尾的句子以句号结尾。

• use_microphone（bool，默认为True）：使用本地麦克风进行转录。如果要使用feed_audio方法提供音频块，请设置为False。

• spinner（bool，默认为True）：提供带有当前录音器状态信息的旋转动画文本。

• level（int，默认为logging.WARNING）：日志级别。

• handle_buffer_overflow（bool，默认为True）：如果设置，系统在录音期间发生输入溢出时会记录警告并从缓冲区中移除数据。

• beam_size（int，默认为5）：用于束搜索解码的束大小。

• initial_prompt（str或int的可迭代对象，默认为None）：要输入转录模型的初始提示。

• suppress_tokens（int列表，默认为[-1]）：从转录输出中抑制的标记。

• on_recorded_chunk：录制音频块时触发的回调函数。将块数据作为参数提交。

• debug_mode（bool，默认为False）：如果设置，系统会向控制台打印额外的调试信息。

实时转录参数

注意：启用实时描述时强烈建议使用GPU安装。使用实时转录可能会产生高GPU负载。

• enable_realtime_transcription（bool，默认为False）：启用或禁用音频的实时转录。设置为True时，音频将在录制过程中持续转录。

• realtime_model_type（str，默认为"tiny"）：指定用于实时转录的机器学习模型的大小或路径。

  • 有效选项：'tiny'、'tiny.en'、'base'、'base.en'、'small'、'small.en'、'medium'、'medium.en'、'large-v1'、'large-v2'。

• realtime_processing_pause（float，默认为0.2）：指定音频块转录后的时间间隔（秒）。较低的值会导致更"实时"（频繁）的转录更新，但可能增加计算负载。

• on_realtime_transcription_update：实时转录有更新时触发的回调函数。该函数以新转录的文本作为参数调用。

• on_realtime_transcription_stabilized：实时转录有更新时触发的回调函数，返回更高质量的稳定文本作为参数。

• beam_size_realtime（int，默认为3）：用于实时转录束搜索解码的束大小。

语音激活参数

• silero_sensitivity（float，默认为0.6）：Silero语音活动检测的灵敏度，范围从0（最不敏感）到1（最敏感）。默认为0.6。

• silero_use_onnx（bool，默认为False）：启用使用ONNX（开放神经网络交换）格式而不是PyTorch格式的Silero预训练模型。默认为False。推荐用于更快的性能。

• silero_deactivity_detection（bool，默认为False）：启用Silero模型进行语音结束检测。对背景噪音更具鲁棒性。利用额外的GPU资源但提高了在嘈杂环境中的准确性。当为False时，使用默认的WebRTC VAD，它更敏感但由于背景声音可能会继续录音更长时间。

• webrtc_sensitivity（int，默认为3）：WebRTC语音活动检测引擎的灵敏度，范围从0（最不激进/最敏感）到3（最激进，最不敏感）。默认为3。

• post_speech_silence_duration（float，默认为0.2）：语音后必须跟随的静音持续时间（秒），以认为录音已完成。这确保语音中的短暂停顿不会过早结束录音。

• min_gap_between_recordings（float，默认为1.0）：指定一个录音会话结束和另一个开始之间应存在的最小时间间隔（秒），以防止快速连续录音。

• min_length_of_recording（浮点数，默认值为1.0）：指定录音会话应持续的最短时间（以秒为单位），以确保有意义的音频捕获，防止过短或分散的录音。

• pre_recording_buffer_duration（浮点数，默认值为0.2）：在正式录音之前缓冲音频的时间跨度（以秒为单位）。这有助于抵消语音活动检测固有的延迟，确保不会遗漏初始音频。

• on_vad_detect_start：系统开始监听语音活动时触发的可调用函数。

• on_vad_detect_stop：系统停止监听语音活动时触发的可调用函数。

唤醒词参数

• wakeword_backend（字符串，默认值为"pvporcupine"）：指定用于唤醒词检测的后端库。支持的选项包括'pvporcupine'（使用Porcupine唤醒词引擎）或'oww'（使用OpenWakeWord引擎）。

• openwakeword_model_paths（字符串，默认值为None）：openwakeword库的模型文件路径，以逗号分隔。这些路径指向可用于唤醒词检测的自定义模型，当选择openwakeword库作为wakeword_backend时使用。

• openwakeword_inference_framework（字符串，默认值为"onnx"）：指定与openwakeword库一起使用的推理框架。可以是'onnx'（Open Neural Network Exchange格式）或'tflite'（TensorFlow Lite）。

• wake_words（字符串，默认值为""）：使用'pvporcupine'唤醒词后端时启动录音。可以提供多个唤醒词，以逗号分隔的字符串形式。支持的唤醒词有：alexa, americano, blueberry, bumblebee, computer, grapefruits, grasshopper, hey google, hey siri, jarvis, ok google, picovoice, porcupine, terminator。对于'openwakeword'后端，唤醒词会自动从提供的模型文件中提取，因此无需在此处指定。

• wake_words_sensitivity（浮点数，默认值为0.6）：唤醒词检测的敏感度（0为最不敏感，1为最敏感）。

• wake_word_activation_delay（浮点数，默认值为0）：开始监听后，系统切换到唤醒词激活的时间（以秒为单位），如果最初未检测到语音。如果设置为零，系统将立即使用唤醒词激活。

• wake_word_timeout（浮点数，默认值为5）：识别唤醒词后的持续时间（以秒为单位）。如果在此窗口内未检测到后续语音活动，系统将转回非活动状态，等待下一个唤醒词或语音激活。

• wake_word_buffer_duration（浮点数，默认值为0.1）：在唤醒词检测期间缓冲音频数据的持续时间（以秒为单位）。这有助于从录音缓冲区中剔除唤醒词，以防止它与随后的口述文本一起被误检测，确保更清晰和准确的转录开始触发。如果唤醒词的部分被检测为文本，请增加此值。

• on_wakeword_detected：检测到唤醒词时触发的可调用函数。

• on_wakeword_timeout：当唤醒词激活后未检测到语音，系统回到非活动状态时触发的可调用函数。

• on_wakeword_detection_start：系统开始监听唤醒词时触发的可调用函数。

• on_wakeword_detection_end：停止监听唤醒词时触发的可调用函数（例如，由于超时或检测到唤醒词）。

OpenWakeWord

训练模型

有关如何训练自己的OpenWakeWord模型的信息，请查看这里。您可以使用简单的Google Colab笔记本作为起点，或使用更详细的笔记本，它允许更多自定义（可以生成高质量模型，但需要更多开发经验）。

将模型转换为ONNX格式

您可能需要使用tf2onnx将tensorflow tflite模型转换为onnx格式：

pip install -U tf2onnx
python -m tf2onnx.convert --tflite my_model_filename.tflite --output my_model_filename.onnx

配置RealtimeSTT

OpenWakeWord使用的建议起始参数：

    with AudioToTextRecorder(
        wakeword_backend="oww",
        wake_words_sensitivity=0.35,
        openwakeword_model_paths="word1.onnx,word2.onnx",
        wake_word_buffer_duration=1,
        ) as recorder:

贡献

欢迎随时贡献！

特别感谢Steven Linn提供docker支持。

许可证

MIT

作者

Kolja Beigel 电子邮件：kolja.beigel@web.de GitHub