#Rust实现
lingua-py - 多语言检测工具,支持75种语言的高效文本解析
语言检测自然语言处理Lingua文本分类Rust实现Github开源项目
该工具能够高效检测文本所属语言,适用于自然语言处理中的文本分类和拼写检查等预处理步骤。这款灵活的小库在长文本和短文本上都能保持高准确率,不依赖外部API或服务,可完全离线使用。相比其他开源库,具有更高的精度和更低的内存占用,尤其适合处理短文本如微博信息。
stack-graphs - Rust实现的高效编程语言名称解析框架
Stack graphs名称解析Rust实现程序语言开源项目Github
Stack-graphs 是一个 Rust 实现的编程语言名称解析框架,支持为任意语言定义高效、增量式的解析规则。该项目独立于现有构建和分析工具,提供灵活性和高性能。基于 TU Delft 的 scope graphs 理论,Stack-graphs 采用 Apache 2.0 和 MIT 双重许可。
sudachi.rs - Rust实现的高性能日语分词工具
Sudachi日语分词Rust实现形态分析器命令行工具Github开源项目
sudachi.rs项目是日语形态分析工具Sudachi的Rust版本。它能够进行多粒度分词、词形标准化和空格分词。此外,该工具支持用户自定义词典、处理未知词,并可通过命令行或API使用。sudachi.rs以高效性能和易用性为特点,适用于各种日语自然语言处理任务。