访问官网
Github
文档
论文项目介绍：vibrato
vibrato是一个基于维特比算法的快速分词工具，它的主要作用是进行快速的分词或者形态分析。该项目采用Rust语言实现，因此具有高效的性能。在分词领域，vibrato旨在提供与MeCab兼容的功能，但经过简单化和针对快速分词进行了优化。特别是在处理大型语言资源方面，其缓存高效的ID映射使得vibrato的速度更快。
核心特性
快速分词
vibrato作为MeCab的Rust语言重实现版本，简化并优化了实现过程，确保更快的分词速度。对于拥有大量矩阵数据的语言资源，例如 unidic-cwj-3.1.1 的459 MiB矩阵，vibrato依托于缓存高效的ID映射，运行速度显著提高。
实验数据显示，与其他MeCab实现相比，vibrato在分词时间上表现更加出色。
MeCab兼容性
vibrato支持生成与MeCab输出相同的分词结果，例如可以选择忽略空白字符。此外，它还允许从语料库中为词典训练参数（或代价）。
基本用法
vibrato软件使用Rust语言实现，因此首先需要安装rustc和cargo。具体安装步骤可以参阅Rust语言官方网站的工具安装指导。
词典准备
用户可以通过下载预编译的词典快速开始使用vibrato。这些词典可以从Releases页面获取，如使用 mecab-ipadic v2.7.0。
分词操作
要使用词典进行句子分词，可以运行如下命令：
echo '本とカレーの街神保町へようこそ。' | cargo run --release -p tokenize -- -i ipadic-mecab-2_7_0/system.dic.zst
这将输出分词结果，默认格式与MeCab相同。如果需要输出以空格分隔的词语，可以指定-O wakati选项。
API中的注意事项
由于模型是以zstd格式压缩分发的，如需加载这些压缩模型，需在API之外进行解压。
分词选项
vibrato与MeCab算法相似，但默认设置下，可能产生不同的分词结果。例如，MeCab在处理时会忽略空格，而vibrato会将空格视为一个标记。若想要获得与MeCab一致的结果，可指定参数-S和-M 24。
用户词典
用户可以同时使用系统和用户词典。用户词典需为CSV格式，首四列是必须的，剩下的特征列可以根据需要选加。
高级用法及支持
项目文档提供了关于训练和基准测试的更多高级用法说明。此外，vibrato拥有一个Slack社区，供开发者和用户进行技术交流和问题讨论。
许可证
本项目可以选择以下任一许可证进行授权：
- Apache License, Version 2.0
- MIT license
初始版本由LegalOn Technologies, Inc.开发，但不是其官方产品。
参考文献
vibrato的技术细节记录在多篇文章和博客中，其中包括语言处理学会年次大会的相关著作。
