CTCWordBeamSearch - CTC解码器提升文本和语音识别的性能

CTCWordBeamSearch 项目介绍

CTCWordBeamSearch 是一个专门用于序列识别任务的解码算法项目，比如手写文本识别或自动语音识别。它的主要目的是通过词典和语言模型（LM）实现高效和准确的解码。在本文中，我们将详细介绍这个项目的特性、安装和使用方法。

项目更新

CTCWordBeamSearch 持续进行更新，包括对 Python 较新版本的支持：

2024 年：支持 Python 版本 3.11 和 3.12。
2021 年：Python 包成为默认的安装方式。
2020 年：推出可安装的 Python 包。

安装方法

用户可以通过以下步骤简单地安装 CTCWordBeamSearch：

进入项目的根目录。
执行命令 pip install . 来安装项目。
进入 tests/ 目录并执行 pytest，以检查安装是否成功。

使用示例

以下是一个简化的示例，展示如何使用 Word Beam Search 进行解码：

假设有个模型可以识别三种字符：“a”、“b”以及空格。在这个示例中，语言模型从一个只包含两个单词“a”和“ba”的文本语料库中进行训练。以下代码片段展示了如何创建 Word Beam Search 的实例，以及对一个特定形状的 numpy 数组进行解码。

import numpy as np
from word_beam_search import WordBeamSearch

corpus = 'a ba'
chars = 'ab '
word_chars = 'ab'

mat = np.array([[[0.9, 0.1, 0.0, 0.0]],
                [[0.0, 0.0, 0.0, 1.0]],
                [[0.6, 0.4, 0.0, 0.0]]])

wbs = WordBeamSearch(25, 'Words', 0.0, corpus.encode('utf8'), chars.encode('utf8'), word_chars.encode('utf8'))

label_str = wbs.compute(mat)

解码器会返回一个包含每个批处理元素的解码标签字符串的列表。通过将标签映射到对应的字符，最终得到字符字符串：

char_str = []
for curr_label_str in label_str:
    s = ''.join([chars[label] for label in curr_label_str])
    char_str.append(s)

参数说明

CTCWordBeamSearch 的构造函数包含多个可配置参数：

Beam Width (beam_width)：保存每个时间步中的束数目。
Scoring mode (lm_type)：决定评分模式，选择之一，如“Words”、“NGrams”等，影响算法运行时所用的词典大小。
Smoothing (lm_smoothing)：用于平滑处理的参数，适用于训练文本中未知的词对。
Text (corpus)、Characters (chars)、Word characters (word_chars)：定义操作所需的语言模型和词典从中创建的文本和字符集。

算法特性

Word Beam Search 是一种 CTC 解码算法，具有以下特点：

单词受限于词典。
支持单词之间的任意数量非单词字符（如数字、标点）。
支持可选的单词级别语言模型。
比 Token Passing 方法更快速。

该算法相较于其他解码器，能够在保持词典一致性的同时识别任意字符串，如数字和标点符号等。

演示与更多信息

用户可以通过 tests/test_word_beam_search.py 文件查看示例代码，并在 extras/prototype/ 和 extras/tf/ 目录下找到 Python 原型及 TensorFlow 自定义操作的相关内容。

希望使用该算法进行研究的人员，请参考相关文献，并适当引用论文：

@inproceedings{scheidl2018wordbeamsearch,
    title = {Word Beam Search: A Connectionist Temporal Classification Decoding Algorithm},
    author = {Scheidl, H. and Fiel, S. and Sablatnig, R.},
    booktitle = {16th International Conference on Frontiers in Handwriting Recognition},
    pages = {253--258},
    year = {2018},
    organization = {IEEE}
}