MRCP插件与FreeSWITCH集成实现语音呼叫中心

FreeSWITCH是一个开源的软交换平台,可以用来构建各种通信应用。本文将介绍如何将FreeSWITCH与UniMRCP Server以及讯飞开放平台的语音识别和语音合成插件集成,实现一个简单的语音呼叫中心系统。

系统架构

整个系统的架构如下:

系统架构图

主要包括以下几个部分:

FreeSWITCH: 负责接收用户的电话呼叫,与UniMRCP Server通信。
UniMRCP Server: 集成了讯飞开放平台的插件,提供语音识别(ASR)和语音合成(TTS)能力。
讯飞开放平台插件: 调用讯飞云端的语音服务。
业务逻辑模块: 根据识别结果处理业务逻辑,决定下一步操作。

系统工作流程

用户拨打电话到FreeSWITCH。
FreeSWITCH接听电话,将用户语音发送给UniMRCP Server。
UniMRCP Server调用讯飞ASR插件进行语音识别。
识别结果返回给FreeSWITCH。
FreeSWITCH根据业务逻辑决定下一步操作。
如需播放语音,FreeSWITCH调用UniMRCP Server的TTS服务。
UniMRCP Server使用讯飞TTS插件合成语音。
合成的语音通过FreeSWITCH播放给用户。

系统配置

FreeSWITCH配置

安装mod_unimrcp模块

在FreeSWITCH的modules.conf中添加:

asr_tts/mod_unimrcp

配置MRCP profile

在conf/mrcp_profiles/目录下创建配置文件:

<include>
  <profile name="unimrcpserver-mrcp2" version="2">
    <param name="server-ip" value="UniMRCP服务器IP"/>
    <param name="server-port" value="8060"/>
    <param name="resource-location" value=""/>
    <param name="speechsynth" value="speechsynthesizer"/>
    <param name="speechrecog" value="speechrecognizer"/>
  </profile>
</include>

配置dialplan

在dialplan中添加使用UniMRCP的示例:

<extension name="unimrcp_test">
  <condition field="destination_number" expression="^5000$">
    <action application="answer"/>
    <action application="play_and_detect_speech" 
      data="say:请说出您要查询的业务 detect:unimrcp {start-input-timers=false}builtin:grammar/boolean"/>
    <action application="log" data="DETECTED SPEECH: ${detect_speech_result}"/>
  </condition>
</extension>

UniMRCP Server配置

安装讯飞ASR和TTS插件
在UniMRCP的配置文件中添加插件:

<plugin>
  <engine name="xfyun-asr" enable="true"/>
  <engine name="xfyun-tts" enable="true"/>  
</plugin>

配置讯飞开放平台的APPID等参数

使用示例

以下是一个简单的使用示例:

<extension name="ivr_menu">
  <condition field="destination_number" expression="^8000$">
    <action application="answer"/>
    <action application="sleep" data="1000"/>
    
    <!-- 播放TTS语音 -->
    <action application="speak" data="unimrcp|xfyun-tts|欢迎致电,请说出您要办理的业务"/>
    
    <!-- 进行语音识别 -->
    <action application="play_and_detect_speech" 
            data="silence_stream://1000 detect:unimrcp {start-input-timers=false}builtin:grammar/boolean" />
    
    <!-- 根据识别结果处理 -->
    <action application="log" data="识别结果: ${detect_speech_result}"/>
    
    <!-- 根据结果播放不同回复 -->
    <action application="speak" data="unimrcp|xfyun-tts|您说的是${detect_speech_result},正在为您处理"/>
    
  </condition>
</extension>

这个示例实现了一个简单的语音交互流程: