OpenAI Whisper: 革命性的语音识别与转录技术

OpenAI Whisper简介

OpenAI Whisper是一个由OpenAI开发的开源自动语音识别(ASR)系统，于2022年发布。它通过大规模弱监督学习，在多语言语音识别和翻译任务上取得了突破性的进展。Whisper模型经过了680,000小时多语言和多任务监督数据的训练，展现出强大的泛化能力和鲁棒性。

Whisper model architecture

Whisper的技术特点

多语言支持: Whisper支持99种语言的语音识别，并可以将这些语言翻译成英语。
强大的泛化能力: 即使在未见过的口音、背景噪音和技术语言上也能表现出色。
零样本学习: 无需针对特定数据集进行微调，就能在多个公开基准上实现竞争性的结果。
多任务能力: 同时支持语音识别、语音翻译、语言识别和语音活动检测等任务。
开源性: Whisper的代码和预训练模型都是开源的，方便研究者和开发者使用和改进。

Whisper模型版本

Whisper提供了多个不同规模的预训练模型，以适应不同的应用场景和计算资源限制：

模型大小	参数数量	仅英语版本	多语言版本
tiny	39 M	✓	✓
base	74 M	✓	✓
small	244 M	✓	✓
medium	769 M	✓	✓
large	1550 M	x	✓
large-v2	1550 M	x	✓
large-v3	1550 M	x	✓

最新的large-v3模型在超过100万小时的弱标注音频和400万小时的伪标注音频上进行了训练，相比large-v2模型，在各种语言上的错误率降低了10%到20%。

Whisper的应用场景

自动字幕生成: 为视频、播客等内容生成精确的多语言字幕。
实时语音翻译: 在国际会议或跨语言交流中提供实时翻译服务。
语音助手: 提升智能语音助手的识别准确度和多语言能力。
语音数据分析: 对大规模语音数据进行转录和分析，用于市场研究、客户服务改进等。
无障碍技术: 为听障人士提供更准确的语音转文字服务。
语言学习工具: 帮助学习者提高发音和听力理解能力。

在Hugging Face上使用Whisper

Whisper模型可以通过Hugging Face Transformers库轻松使用。以下是一个使用Whisper large-v3模型进行语音识别的Python代码示例：

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
from datasets import load_dataset

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "openai/whisper-large-v3"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    torch_dtype=torch_dtype,
    device=device,
)

dataset = load_dataset("distil-whisper/librispeech_long", "clean", split="validation")
sample = dataset[0]["audio"]

result = pipe(sample)
print(result["text"])

这段代码展示了如何加载Whisper large-v3模型，并使用它来转录音频文件。Hugging Face的生态系统使得使用和部署Whisper模型变得非常简单。