#日语分词
相关项目
nagisa
Nagisa是一个用于日语分词和词性标注的Python模块,基于递归神经网络,提供字符级和单词级的分词模型及标签词典的词性标注模型。工具设计简单易用,支持多种Python版本,兼容Linux、macOS和Windows系统。通过pip命令即可安装,项目详细文档和资源链接可在官方页面找到。
Sudachi
Sudachi是一款开源的日语形态素分析器,支持多级分词、大型词典和插件系统。基于UniDic和NEologd,Sudachi提供强大的文本正规化功能,可同时进行形态素分析和命名实体识别。它具有命令行接口和Java API,便于集成应用。Sudachi在分词准确性和性能上表现优秀,是处理日语文本的有力工具。
sudachi.rs
sudachi.rs项目是日语形态分析工具Sudachi的Rust版本。它能够进行多粒度分词、词形标准化和空格分词。此外,该工具支持用户自定义词典、处理未知词,并可通过命令行或API使用。sudachi.rs以高效性能和易用性为特点,适用于各种日语自然语言处理任务。
SudachiDict
SudachiDict是为日语分词器Sudachi开发的词典项目,提供小型、核心和完整三种规模的词典。用户可通过Python包轻松安装使用。项目整合了UniDic词汇和部分NEologd资源,为日语自然语言处理提供全面词汇支持。SudachiDict采用Apache License 2.0开源协议发布。