SwiftWhisper: 最简便的Swift音频转录工具

SwiftWhisper

SwiftWhisper: 让Swift音频转录变得轻而易举

在当今数字时代,音频转录技术正在各个领域发挥着越来越重要的作用。无论是语音助手、会议记录,还是字幕生成,高效准确的音频转文本能力都是不可或缺的。对于iOS和macOS开发者来说,如何在Apple生态系统中实现这一功能一直是一个挑战。而现在,SwiftWhisper的出现为这个问题提供了一个优雅的解决方案。

SwiftWhisper简介

SwiftWhisper是一个由开发者Aaron Taylor创建的开源项目,它巧妙地将OpenAI的Whisper模型与Swift语言结合,为Apple平台的开发者提供了一个强大而易用的音频转录工具。该项目的核心目标是simplify the process of integrating speech recognition capabilities into Swift applications。

SwiftWhisper Logo

SwiftWhisper的主要特点包括:

易于集成: 通过Swift Package Manager或Xcode,开发者可以轻松将SwiftWhisper添加到他们的项目中。
高性能: 基于whisper.cpp,SwiftWhisper在设备本地进行音频处理,保证了转录的速度和隐私安全。
灵活性: 支持多种Whisper模型,开发者可以根据需求选择不同大小和精度的模型。
CoreML支持: 在Apple设备上可以利用CoreML进行加速,进一步提升性能。
丰富的API: 提供了直观的API,使得音频转录过程变得简单明了。

安装与使用

SwiftWhisper的安装过程非常简单。对于使用Swift Package Manager的项目,只需在Package.swift文件中添加以下依赖:

dependencies: [
    .package(url: "https://github.com/exPHAT/SwiftWhisper.git", branch: "master"),
],
targets: [
    .target(
        name: "YourTarget",
        dependencies: ["SwiftWhisper"]
    )
]

对于Xcode项目,可以通过"File" > "Add Packages"菜单,输入SwiftWhisper的GitHub仓库URL来添加依赖。

使用SwiftWhisper进行音频转录的基本流程如下:

导入SwiftWhisper模块
初始化Whisper实例
调用transcribe方法进行转录

以下是一个简单的示例代码:

import SwiftWhisper

let whisper = Whisper(fromFileURL: /* Whisper模型文件URL */)
let audioFrames: [Float] = /* 16kHz PCM音频帧数据 */
let segments = try await whisper.transcribe(audioFrames: audioFrames)

print("转录结果:", segments.map(\.text).joined())

高级特性

SwiftWhisper不仅提供了基本的转录功能,还包含了一些高级特性,使得开发者能够更灵活地控制转录过程:

代理模式: 通过实现WhisperDelegate协议,开发者可以实时获取转录进度、中间结果等信息。

protocol WhisperDelegate {
    func whisper(_ aWhisper: Whisper, didUpdateProgress progress: Double)
    func whisper(_ aWhisper: Whisper, didProcessNewSegments segments: [Segment], atIndex index: Int)
    func whisper(_ aWhisper: Whisper, didCompleteWithSegments segments: [Segment])
    func whisper(_ aWhisper: Whisper, didErrorWith error: Error)
}

CoreML支持: 为了在Apple设备上获得更好的性能,SwiftWhisper支持使用CoreML模型。只需将后缀为-encoder.mlmodelc的CoreML模型文件放在Whisper模型旁边,并使用Whisper(fromFileURL:)初始化器即可。
音频格式转换: SwiftWhisper要求输入16kHz的PCM音频数据。为了方便开发者,项目提供了使用AudioKit进行音频格式转换的示例代码。