访问官网
Github
文档
论文项目介绍
综述
Gse 是一个高效的多语言自然语言处理（NLP）和文本分词工具，旨在支持包括英语、中文、日文在内的多种语言。它不仅可以独立使用，还可以与 Elasticsearch 和 Bleve 集成，这是其跨领域应用的一个优势。
功能特点
Gse 具有以下显著特点：
- 多种分词模式：支持普通模式、搜索引擎模式、全模式、精确模式及隐马尔可夫模型（HMM）模式等多种分词模式，满足不同应用场景的需求。
- 字典支持：支持用户自定义字典及嵌入式字典，同时提供词性标注、分词信息分析、停用词过滤及词语修剪等功能。
- 多语言支持：除了支持英语、中文和日文外，Gse 还可以处理其他语言，并支持繁体中文。
- 先进的算法：使用维特比算法进行 HMM 分词，确保了较高的精度。此外，Gse 还在努力集成 TensorFlow，为 NLP 提供更多支持，如命名实体识别功能。
- 文本速度：单线程文本分词速度可达 9.2MB/s，协程并发分词速度则提升至 26.8MB/s，HMM 分词单线程速度为 3.2MB/s。
算法概述
Gse 采用了双数组字典树（Double-Array Trie）进行字典匹配，分词算法则是基于词频和动态规划的最短路径算法，并结合了 DAG 和 HMM 分词方法，实现了高效的文本处理。
使用方法
如需使用 Gse，用户可以直接通过 Go 模块支持进行导入：
import "github.com/go-ego/gse"
或者可以通过命令行下载安装：
go get -u github.com/go-ego/gse
Gse 提供了完整的代码示例，便于用户更好地理解和应用工具。例如，可以通过以下操控编码实现基础的分词功能：
package main
import (
_ "embed"
"fmt"
"github.com/go-ego/gse"
)
func main() {
var seg gse.Segmenter
seg.LoadDict("./testdata/test_en.txt")
s := seg.Cut("To be or not to be, that's the question!")
fmt.Println("seg Cut: ", s)
}
绑定与扩展
项目还支持与 JavaScript 等其他语言的绑定，通过 gse-bind 扩展多语言支持。
许可
Gse项目以 MIT 许可证和 Apache 许可证（版本 2.0）双重授权分发，用户可以根据实际需求选择适合的许可证类型。感谢现有项目如 Sego 和 Jieba 的启发与基础代码支持。
通过以上介绍可以看出，Gse 是一个功能强大且高效的自然语言处理工具，适用于各类文本处理及分析需求，是开发者和数据科学家的得力助手。
