drachtio-freeswitch-modules简介
drachtio-freeswitch-modules是一个由drachtio团队开发和维护的开源项目,旨在为FreeSWITCH提供一系列功能强大的扩展模块。这些模块主要用于实现实时语音转写、对话流处理等高级功能,可以在基于drachtio框架的各种应用中灵活使用。
该项目目前在GitHub上已获得171颗星和119次分叉,受到了众多开发者的关注和支持。项目采用MIT开源许可证,允许开发者自由使用、修改和分发代码。
主要模块介绍
mod_google_transcribe
mod_google_transcribe是一个利用Google Speech-to-Text API实现实时语音转写的FreeSWITCH模块。它可以将FreeSWITCH通道中的音频流实时发送到Google云端进行识别,并返回转写结果。
主要特性包括:
- 支持实时流式识别
- 可配置是否返回中间结果
- 支持多种语言
- 可通过语音活动检测(VAD)触发识别,减少不必要的请求
- 提供丰富的配置选项,如单一话语模式、分离识别等
使用示例:
ep.api('uuid_google_transcribe', `${ep.uuid} start en-US interim`);
mod_dialogflow
mod_dialogflow模块可以将FreeSWITCH通道连接到Dialogflow代理,实现完整的IVR交互流程。它会将音频流传输给Dialogflow服务,获取意图识别结果、转写文本以及音频提示等信息。
主要功能:
- 支持实时音频流传输
- 返回意图识别结果
- 支持播放Dialogflow返回的音频提示
- 可配置初始事件触发欢迎提示
- 支持指定Dialogflow环境和区域
使用示例:
ep.api('dialogflow_start', `${ep.uuid} my-agent-uuxr:production en-US welcome`);
mod_aws_transcribe
mod_aws_transcribe模块通过AWS流式转写API实现实时语音转写功能。它可以将FreeSWITCH通道的音频发送到AWS进行识别,并返回转写结果。
主要特性:
- 支持实时流式识别
- 可配置是否返回中间结果
- 支持多种语言
- 提供多种身份验证方式
使用示例:
ep.api('aws_transcribe', `${ep.uuid} start en-US interim`);
使用方法
要使用drachtio-freeswitch-modules中的模块,需要先在FreeSWITCH中加载相应的模块。然后可以通过drachtio-fsrmf包提供的API在Node.js应用中调用这些模块的功能。
一般使用流程如下:
- 在FreeSWITCH配置中加载所需模块
- 在Node.js应用中引入drachtio-fsrmf包
- 创建FreeSWITCH endpoint对象
- 调用endpoint对象的api方法执行相应的命令
例如,使用Google语音转写的代码示例:
const Srf = require('drachtio-srf');
const Mrf = require('drachtio-fsmrf');
const srf = new Srf();
const mrf = new Mrf(srf);
srf.connect({...});
srf.invite((req, res) => {
mrf.connectCaller(req, res)
.then((ep) => {
ep.api('uuid_google_transcribe', `${ep.uuid} start en-US interim`);
// 处理转写结果...
});
});
构建说明
对于某些模块(如mod_aws_transcribe),可能需要先构建相关的依赖库。例如,构建AWS C++ SDK可以参考项目提供的Ansible角色或具体步骤说明。
结语
drachtio-freeswitch-modules为FreeSWITCH提供了一系列强大的扩展模块,极大地增强了其语音处理和对话交互能力。开发者可以根据具体需求选择合适的模块,快速实现诸如实时语音转写、智能对话等高级功能。该项目仍在持续更新和完善中,欢迎社区贡献代码,共同推动项目的发展。
要了解更多信息,可以访问项目GitHub页面或查阅相关文档。如果在使用过程中遇到问题,也可以通过GitHub Issues与开发团队交流。
