g2pW: 一个用于中文多音字消歧的条件加权Softmax BERT模型

g2pW

g2pW: 一个用于中文多音字消歧的条件加权Softmax BERT模型

多音字消歧是中文文本转语音(TTS)系统中最关键的任务之一。近年来,随着预训练语言模型的发展,基于BERT等模型的方法在这个任务上取得了显著进展。然而,如何更好地利用上下文信息来消除多音字歧义仍然是一个挑战。近日,来自台湾的研究者提出了一种名为g2pW的新方法,通过条件加权softmax机制进一步提升了多音字消歧的准确率。

g2pW的创新之处

g2pW的核心创新在于引入了一种可学习的softmax权重,用于调节BERT输出结果。具体来说:

对于每个多音字,模型会学习一组softmax权重,用于调节该字不同读音的概率分布。
这组权重会根据目标多音字本身以及其词性标注(POS tag)信息进行条件化。
与之前工作中使用硬掩码(hard mask)的方法不同,g2pW采用软权重函数,可以更灵活地建模候选读音之间的关系。
g2pW将词性标注模型与多音字消歧模型进行联合训练,无需额外的预训练POS tagging模型。

通过这种设计,g2pW能够更好地利用上下文语义和语法信息来消除多音字歧义。在公开的CPP数据集上,g2pW的准确率达到了99.08%,超过了此前的最好结果。

g2pW的主要特点

高准确率: 在CPP数据集上达到99.08%的准确率,为目前最好结果。
灵活的权重机制: 采用可学习的软权重函数,比硬掩码更灵活。
联合训练: 将POS tagging与多音字消歧联合训练,简化了模型结构。
支持多种拼音风格: 可输出注音符号或拼音,支持不同音调表示方式。
支持简体中文: 除繁体中文外,还支持简体中文的处理。

如何使用g2pW

g2pW已经开源,可以通过pip轻松安装:

pip install g2pw

基本使用方法如下:

from g2pw import G2PWConverter

conv = G2PWConverter()
sentence = '上校請技術人員校正FN儀器'
result = conv(sentence)
print(result)
# 输出: [['ㄕㄤ4', 'ㄒㄧㄠ4', 'ㄑㄧㄥ3', 'ㄐㄧ4', 'ㄕㄨ4', 'ㄖㄣ2', 'ㄩㄢ2', 'ㄐㄧㄠ4', 'ㄓㄥ4', None, None, 'ㄧ2', 'ㄑㄧ4']]

sentences = ['銀行', '行動']
result = conv(sentences)
print(result)
# 输出: [['ㄧㄣ2', 'ㄏㄤ2'], ['ㄒㄧㄥ2', 'ㄉㄨㄥ4']]

g2pW还支持离线模式和简体中文处理:

# 离线模式
conv = G2PWConverter(model_dir='./G2PWModel-v2-onnx/', 
                     model_source='./path-to/bert-base-chinese/')

# 支持简体中文和拼音输出
conv = G2PWConverter(style='pinyin', enable_non_tradional_chinese=True)
result = conv('然而，他红了20年以后，他竟退出了大家的视线。')
print(result)
# 输出: [['ran2', 'er2', None, 'ta1', 'hong2', 'le5', None, None, 'nian2', 'yi3', 'hou4', None, 'ta1', 'jing4', 'tui4', 'chu1', 'le5', 'da4', 'jia1', 'de5', 'shi4', 'xian4', None]]