Vocode-Core: 开源语音交互LLM应用开发框架

vocode-core

Vocode-Core: 开源语音交互LLM应用开发框架

在人工智能和自然语言处理技术快速发展的今天,语音交互已经成为人机交互的一个重要方式。Vocode-Core作为一个开源的语音交互LLM应用开发框架,为开发者提供了一套强大而灵活的工具,可以帮助他们快速构建各种基于语音的AI应用。本文将深入介绍Vocode-Core的特性、架构以及使用方法,帮助读者全面了解这个优秀的开源项目。

Vocode-Core简介

Vocode-Core是一个由vocodedev团队开发的开源项目,旨在简化语音交互LLM应用的开发过程。它提供了一系列易用的抽象和集成,使得开发者可以在短时间内构建出功能丰富的语音应用。无论是智能客服、语音助手,还是基于语音的游戏,Vocode-Core都能为开发者提供强有力的支持。

Vocode logo

主要特性

Vocode-Core提供了许多令人印象深刻的特性:

实时语音交互: 支持与LLM模型进行实时的语音对话,可以应用于电话、Zoom会议等场景。
多种集成: 提供与多种转录服务、LLM模型和语音合成服务的集成,包括AssemblyAI、Deepgram、OpenAI、Anthropic、Azure等。
灵活的部署选项: 可以部署到电话系统、Zoom会议,甚至是本地系统音频。
Langchain集成: 支持将Vocode-Core与Langchain结合使用,扩展AI代理的能力。
开源和可扩展: 作为开源项目,Vocode-Core欢迎社区贡献,并且易于扩展以支持新的服务和功能。

架构概览

Vocode-Core的架构主要包含以下几个核心组件:

转录器(Transcriber): 负责将语音输入转换为文本。支持多种服务,如AssemblyAI、Deepgram等。
代理(Agent): 处理转录后的文本,生成响应。通常使用LLM模型,如OpenAI的GPT系列。
合成器(Synthesizer): 将代理生成的文本响应转换为语音输出。支持多种服务,如Azure、Google Cloud等。
对话管理(Conversation): 协调转录器、代理和合成器,管理整个对话流程。

这种模块化的设计使得Vocode-Core具有很高的灵活性和可扩展性。开发者可以根据需要选择和配置不同的组件,以适应各种应用场景。

快速入门

要开始使用Vocode-Core,首先需要安装依赖:

pip install vocode

然后,可以使用以下代码快速创建一个基本的语音交互应用:

import asyncio
import signal
from pydantic_settings import BaseSettings, SettingsConfigDict

from vocode.helpers import create_streaming_microphone_input_and_speaker_output
from vocode.streaming.agent.chat_gpt_agent import ChatGPTAgent
from vocode.streaming.models.agent import ChatGPTAgentConfig
from vocode.streaming.models.message import BaseMessage
from vocode.streaming.models.synthesizer import AzureSynthesizerConfig
from vocode.streaming.models.transcriber import DeepgramTranscriberConfig, PunctuationEndpointingConfig
from vocode.streaming.streaming_conversation import StreamingConversation
from vocode.streaming.synthesizer.azure_synthesizer import AzureSynthesizer
from vocode.streaming.transcriber.deepgram_transcriber import DeepgramTranscriber

# 配置设置
class Settings(BaseSettings):
    openai_api_key: str = "YOUR_OPENAI_API_KEY"
    azure_speech_key: str = "YOUR_AZURE_SPEECH_KEY"
    deepgram_api_key: str = "YOUR_DEEPGRAM_API_KEY"
    azure_speech_region: str = "eastus"

    model_config = SettingsConfigDict(env_file=".env", env_file_encoding="utf-8", extra="ignore")

settings = Settings()

async def main():
    # 创建音频输入输出
    microphone_input, speaker_output = create_streaming_microphone_input_and_speaker_output(use_default_devices=False)

    # 创建对话
    conversation = StreamingConversation(
        output_device=speaker_output,
        transcriber=DeepgramTranscriber(
            DeepgramTranscriberConfig.from_input_device(
                microphone_input,
                endpointing_config=PunctuationEndpointingConfig(),
                api_key=settings.deepgram_api_key,
            ),
        ),
        agent=ChatGPTAgent(
            ChatGPTAgentConfig(
                openai_api_key=settings.openai_api_key,
                initial_message=BaseMessage(text="Hello! How can I help you today?"),
                prompt_preamble="You are a helpful AI assistant.",
            )
        ),
        synthesizer=AzureSynthesizer(
            AzureSynthesizerConfig.from_output_device(speaker_output),
            azure_speech_key=settings.azure_speech_key,
            azure_speech_region=settings.azure_speech_region,
        ),
    )

    # 启动对话
    await conversation.start()
    print("Conversation started, press Ctrl+C to end")
    
    # 处理音频输入
    while conversation.is_active():
        chunk = await microphone_input.get_audio()
        conversation.receive_audio(chunk)

if __name__ == "__main__":
    asyncio.run(main())

这个示例创建了一个使用Deepgram进行语音转文本、ChatGPT作为对话代理、Azure进行语音合成的应用。用户可以通过麦克风与AI助手进行对话。

高级功能

除了基本的语音交互,Vocode-Core还支持许多高级功能:

电话集成: 可以创建能够接听和拨打电话的AI代理。

from vocode.streaming.telephony.conversation.outbound_call import OutboundCall
from vocode.streaming.telephony.config_manager.redis_config_manager import RedisConfigManager

outbound_call = OutboundCall(
    recipient_phone_number="+1234567890",
    caller_phone_number="+0987654321",
    config_manager=RedisConfigManager(),
    agent=ChatGPTAgent(...),
    synthesizer=AzureSynthesizer(...),
    transcriber=DeepgramTranscriber(...)
)
await outbound_call.start()

Zoom会议集成: 允许AI代理加入Zoom会议。
多模态交互: 支持结合文本、语音甚至图像的多模态交互。
自定义行为: 可以通过继承和重写基类来自定义代理的行为。

from vocode.streaming.agent.base_agent import BaseAgent

class MyCustomAgent(BaseAgent):
    async def respond(self, human_input):
        # 自定义响应逻辑
        return "This is a custom response."