FunASR

安装

• 要求

python>=3.8
torch>=1.13
torchaudio

• 通过pypi安装

pip3 install -U funasr

• 或从源代码安装

git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip3 install -e ./

• 安装modelscope或huggingface_hub以使用预训练模型（可选）

pip3 install -U modelscope huggingface_hub

模型库

FunASR开源了大量在工业数据上预训练的模型。您可以根据模型许可协议自由使用、复制、修改和共享FunASR模型。以下是一些代表性模型，更多模型请参考模型库。

（注：⭐代表ModelScope模型库，🤗代表Huggingface模型库，🍀代表OpenAI模型库）

快速开始

以下是一个快速入门教程。测试音频文件（中文，英文）。

命令行使用

funasr ++model=paraformer-zh ++vad_model="fsmn-vad" ++punc_model="ct-punc" ++input=asr_example_zh.wav

注意：支持识别单个音频文件，以及Kaldi格式的wav.scp文件列表：wav_id wav_path

语音识别（非流式）

SenseVoice

from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess

model_dir = "iic/SenseVoiceSmall"

model = AutoModel(
    model=model_dir,
    vad_model="fsmn-vad",
    vad_kwargs={"max_single_segment_time": 30000},
    device="cuda:0",
)
# 中文
res = model.generate(
    input=f"{model.model_path}/example/en.mp3",
    cache={},
    language="auto",  # "zn", "en", "yue", "ja", "ko", "nospeech"
    use_itn=True,
    batch_size_s=60,
    merge_vad=True,  #
    merge_length_s=15,
)
text = rich_transcription_postprocess(res[0]["text"])
print(text)

参数说明：

• model_dir：模型名称，或本地磁盘上模型的路径。
• vad_model：表示激活VAD（语音活动检测）。VAD的目的是将长音频分割成较短的片段。在这种情况下，推理时间包括VAD和SenseVoice的总消耗，代表端到端延迟。如果你想单独测试SenseVoice模型的推理时间，可以禁用VAD模型。
• vad_kwargs：指定VAD模型的配置。max_single_segment_time：表示vad_model音频分割的最大持续时间，单位为毫秒（ms）。
• use_itn：输出结果是否包含标点符号和逆文本规范化。
• batch_size_s：表示使用动态批处理，批次中音频的总持续时间以秒（s）为单位。
• merge_vad：是否合并由VAD模型分割的短音频片段，合并长度为merge_length_s，单位为秒（s）。
• ban_emo_unk：是否禁止输出emo_unk标记。

Paraformer

from funasr import AutoModel
# paraformer-zh是一个多功能的asr模型
# 根据需要使用vad、punc、spk
model = AutoModel(model="paraformer-zh",  vad_model="fsmn-vad",  punc_model="ct-punc", 
                  # spk_model="cam++", 
                  )
res = model.generate(input=f"{model.model_path}/example/asr_example.wav", 
                     batch_size_s=300, 
                     hotword='魔搭')
print(res)

注意：hub：表示模型仓库，ms代表选择ModelScope下载，hf代表选择Huggingface下载。

语音识别（流式）

from funasr import AutoModel

chunk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
encoder_chunk_look_back = 4 #编码器自注意力回看的块数
decoder_chunk_look_back = 1 #解码器交叉注意力回看的编码器块数

model = AutoModel(model="paraformer-zh-streaming")

import soundfile
import os

wav_file = os.path.join(model.model_path, "example/asr_example.wav")
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = chunk_size[1] * 960 # 600ms

cache = {}
total_chunk_num = int(len((speech)-1)/chunk_stride+1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size, encoder_chunk_look_back=encoder_chunk_look_back, decoder_chunk_look_back=decoder_chunk_look_back)
    print(res)

注意：chunk_size是流式延迟的配置。[0,10,5]表示实时显示粒度为10*60=600ms，前瞻信息为5*60=300ms。每次推理输入600ms（采样点为16000*0.6=960），输出对应的文本。对于最后一个语音段输入，需要设置is_final=True以强制输出最后一个词。

from funasr import AutoModel

model = AutoModel(model="fsmn-vad")
wav_file = f"{model.model_path}/example/vad_example.wav"
res = model.generate(input=wav_file)
print(res)

from funasr import AutoModel

chunk_size = 200 # ms
model = AutoModel(model="fsmn-vad")

import soundfile

wav_file = f"{model.model_path}/example/vad_example.wav"
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = int(chunk_size * sample_rate / 1000)

cache = {}
total_chunk_num = int(len((speech)-1)/chunk_stride+1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size)
    if len(res[0]["value"]):
        print(res)

from funasr import AutoModel

model = AutoModel(model="ct-punc")
res = model.generate(input="那今天的会就到这里吧 happy new year 明年见")
print(res)

from funasr import AutoModel

model = AutoModel(model="fa-zh")
wav_file = f"{model.model_path}/example/asr_example.wav"
text_file = f"{model.model_path}/example/text.txt"
res = model.generate(input=(wav_file, text_file), data_type=("sound", "text"))
print(res)

from funasr import AutoModel

model = AutoModel(model="emotion2vec_plus_large")

wav_file = f"{model.model_path}/example/test.wav"

res = model.generate(wav_file, output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(res)

导出ONNX

命令行使用

funasr-export ++model=paraformer ++quantize=false ++device=cpu

Python

from funasr import AutoModel

model = AutoModel(model="paraformer", device="cpu")

res = model.export(quantize=False)

测试ONNX

# pip3 install -U funasr-onnx
from funasr_onnx import Paraformer
model_dir = "damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch"
model = Paraformer(model_dir, batch_size=1, quantize=True)

wav_path = ['~/.cache/modelscope/hub/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/example/asr_example.wav']

result = model(wav_path)
print(result)

更多示例请参考演示

部署服务

FunASR支持部署预训练或进一步微调的模型进行服务。目前支持以下类型的服务部署：

• 文件转写服务，普通话，CPU版本，已完成
• 实时转写服务，普通话（CPU），已完成
• 文件转写服务，英语，CPU版本，已完成
• 文件转写服务，普通话，GPU版本，进行中
• 更多。 如需更详细的信息，请参阅服务部署文档。

社区交流

如果您在使用过程中遇到问题，可以直接在 GitHub 页面上提出 Issues。

您也可以扫描以下钉钉群二维码加入社区群，进行交流讨论。

钉钉群

贡献者

贡献者列表可在贡献者名单中找到。

许可证

本项目采用 MIT 许可证。FunASR 还包含了各种第三方组件，以及根据其他开源许可证修改的部分代码。 预训练模型的使用受 模型许可证 约束。

引用

@inproceedings{gao2023funasr,
  author={Zhifu Gao and Zerui Li and Jiaming Wang and Haoneng Luo and Xian Shi and Mengzhe Chen and Yabin Li and Lingyun Zuo and Zhihao Du and Zhangyu Xiao and Shiliang Zhang},
  title={FunASR: A Fundamental End-to-End Speech Recognition Toolkit},
  year={2023},
  booktitle={INTERSPEECH},
}
@inproceedings{An2023bat,
  author={Keyu An and Xian Shi and Shiliang Zhang},
  title={BAT: Boundary aware transducer for memory-efficient and low-latency ASR},
  year={2023},
  booktitle={INTERSPEECH},
}
@inproceedings{gao22b_interspeech,
  author={Zhifu Gao and ShiLiang Zhang and Ian McLoughlin and Zhijie Yan},
  title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
  year=2022,
  booktitle={Proc. Interspeech 2022},
  pages={2063--2067},
  doi={10.21437/Interspeech.2022-9996}
}
@inproceedings{shi2023seaco,
  author={Xian Shi and Yexin Yang and Zerui Li and Yanni Chen and Zhifu Gao and Shiliang Zhang},
  title={SeACo-Paraformer: A Non-Autoregressive ASR System with Flexible and Effective Hotword Customization Ability},
  year={2023},
  booktitle={ICASSP2024}
}