#MeCab
vibrato - Viterbi算法驱动的高效分词器
Github开源项目RustMeCabVibrato形态素分析tokenization
Vibrato是利用Viterbi算法的高效分词器,用Rust重写并优化了MeCab分词器,显著提高分词性能。它支持与MeCab兼容的输出,并允许从自己的数据训练分词参数。Vibrato擅长处理大规模矩阵数据,加快分词速度。项目提供了Python接口和WebAssembly演示,兼顾多种应用场景。详见项目文档,可通过Slack社区进行讨论。支持Apache 2.0和MIT双许可。
fugashi - 日语分词和形态分析的Cython高效解决方案
Github开源项目自然语言处理fugashiMeCab日本分词UniDic
fugashi是一个基于MeCab的Cython包装器,为Python用户提供高效的日语分词和形态分析功能。它支持Linux、OSX和Windows平台,并推荐使用易于安装的UniDic词典。用户可以通过pip轻松安装fugashi及其词典,实现高效的日语文本处理。除了标准词典,fugashi还支持自定义词典,同时为研究人员提供引用支持,满足不同用户需求。