wikipron - 多语言发音数据提取与查询API

WikiPron 项目介绍

WikiPron 是一个用于从维基词典挖掘多语言发音数据的命令行工具和Python API，同时它也是一个使用该工具挖掘的发音词典数据库。

项目背景

WikiPron 旨在帮助语言研究者和开发者轻松获取多语言的发音数据。通过这个工具，用户可以自动化地从维基词典中提取语音转录内容，这对于从事语言处理、发音研究、模型训练等任务的人群非常有用。

功能介绍

命令行工具

WikiPron 的命令行工具非常简单易用。用户可以使用如下命令进行安装：

pip install wikipron

安装完成后，用户可以通过在终端中输入 wikipron 命令开启数据抓取工作。例如，抓取法语的字音转换数据可以使用以下命令：

wikipron fra

用户可以通过三字母的 ISO 639-3 语言代码来指定目标语言。此外，还可以使用 --dialect 标志来选择特定方言，使用 --narrow 选项选择狭义转录，并通过 --no-segment 和 --no-skip-parens 等标志来自定义输出格式。

提取的数据默认情况下将以制表符分隔的格式显示在终端中，用户可以通过重定向输出至文件保存数据：

wikipron fra > fra.tsv

Python API

除了命令行工具，WikiPron 还提供了一个功能强大的 Python API，用户可以通过编程方式使用。例如，一个标准的工作流程可以设置法语的抓取配置并逐步提取<单词, 发音>对：

import wikipron

config = wikipron.Config(key="fra")  # 法语，使用默认选项
for word, pron in wikipron.scrape(config):
    ...

数据库与模型

WikiPron 项目还提供了一个包含超过三百万对单词和发音对的数据集，方便用户直接获取大规模的语音数据。此外，该项目还与其他资源一起提供了字母-音素模型和建模软件。

开发与贡献

WikiPron 的源代码托管在 GitHub 上，任何希望了解最新改动或者参与到项目开发中来的开发者都可以通过 GitHub 进行代码克隆和安装。在开发环境中，用户可以在开发模式下安装库和依赖：

git clone https://github.com/<your-github-username>/wikipron.git
cd wikipron
pip install -U pip setuptools
pip install -r requirements.txt
pip install --no-deps -e .

欢迎用户在 GitHub 上提出问题和功能请求，同时也欢迎对项目源码进行贡献。

许可证

WikiPron 在 Apache 2.0 许可证下发布，用户在使用时请注意相应的许可证信息。值得注意的是，项目内的数据文件夹中的维基词典数据有其特定的许可条款。

通过 WikiPron 项目，语言研究变得更加便利，同时也为不同语言的语音数据挖掘提供了强有力的支持工具。