elasticsearch-analysis-ansj：elasticsearch 的中文分词插件

前言

elasticsearch-analysis-ansj 是一个基于 ansj 分词算法的 elasticsearch 中文分词插件。

编译

mvn package

编译成功后，将会生成打包好的插件压缩包：target/releases/elasticsearch-analysis-ansj-<版本号>-release.zip。

安装

安装命令

在 es 安装目录下执行以下命令安装插件：

./bin/elasticsearch-plugin install file:///<你的路径>/elasticsearch-analysis-ansj-<版本号>-release.zip

安装完成后，会生成一个默认的配置文件：<ES_HOME>/config/elasticsearch-analysis-ansj/ansj.cfg.yml，根据需要修改此文件即可。

测试

安装完成后，启动 es 集群。通过以下方式测试是否安装正确： 方法一： 通过 kibana 执行 GET /_cat/ansj?text=中国&type=index_ansj 命令，测试 index_ansj 分词器，返回内容如下：

{
  "result": [
    {
      "name": "中国",
      "nature": "ns",
      "offe": 0,
      "realName": "中国",
      "synonyms": null
    },
    {
      "name": "中",
      "nature": "f",
      "offe": 0,
      "realName": "中",
      "synonyms": null
    },
    {
      "name": "国",
      "nature": "n",
      "offe": 1,
      "realName": "国",
      "synonyms": null
    }
  ]
}

方法二： 通过 kibana 执行 GET /_cat/ansj/config 命令，获取配置文件内容如下：

{
  "ambiguity": [
    "ambiguity"
  ],
  "stop": [
    "stop"
  ],
  "synonyms": [
    "synonyms"
  ],
  "crf": [
    "crf"
  ],
  "isQuantifierRecognition": "true",
  "isRealName": "false",
  "isNumRecognition": "true",
  "isNameRecognition": "true",
  "dic": [
    "dic"
  ]
}

使用

• 第一步：创建索引

PUT /test_index?pretty
{
  "settings" : {
    "index" : {
      "number_of_shards" : 16,
      "number_of_replicas" : 1,
      "refresh_interval":"5s"
    }
  },
  "mappings" : {
    "properties" : {
      "test_field": { 
        "type": "text",
        "analyzer": "index_ansj",
        "search_analyzer": "query_ansj"
      }
    }
  }
}

说明：

• test_index: 用于测试的索引名称；
• test_field: 用于测试的字段；
• 指定字段的索引分词器为：index_ansj；
• 指定字段的搜索分词器为：query_ansj；

测试索引配置是否正确：

POST /test_index/_analyze
{
  "field": "test_field",
  "text": "中国"
}

• 第二步：添加数据

PUT test_index/_bulk?refresh
{"create":{ }}
{ "test_field" : "中国" }
{"create":{ }}
{ "test_field" : "中华人民共和国" }
{"create":{ }}
{ "test_field" : "中国有56个民族" }
{"create":{ }}
{ "test_field" : "中国是社会主义国家" }

• 第三步：执行搜索

GET test_index/_search
{
  "query": {
    "match": {
      "test_field": {
        "query": "中国"
      }
    }
  }
}

注意：

• 上述操作语句都是在 kibana 的 dev_tools 里执行的；
• 上述操作语句仅在 es 8.x 版本上测试过，其它版本请根据实际情况调整。

插件功能

安装插件后，在 es 集群中会增加以下功能：

三个 analyzer:

• index_ansj（建议索引使用）
• query_ansj（建议搜索使用）
• dic_ansj

三个 tokenizer：

• index_ansj（建议索引使用）
• query_ansj（建议搜索使用）
• dic_ansj

http 接口：

• /_cat/ansj: 执行分词
• /_cat/ansj/config: 显示全部配置
• /_ansj/flush/config: 刷新全部配置
• /_ansj/flush/dic: 更新全部词典。包括用户自定义词典、停用词典、同义词典、歧义词典、crf

配置文件

配置文件格式

ansj:
  #默认参数配置
  isNameRecognition: true #开启姓名识别
  isNumRecognition: true #开启数字识别
  isQuantifierRecognition: true #是否数字和量词合并
  isRealName: false #是否保留真实词语，建议保留false

  #用户自定词典配置
  #dic: default.dic #也可以写成 file://default.dic , 如果未配置dic，则此词典默认加载
  # http方式加载
  #dic_d1: http://xxx/xx.dic
  # jar中文件加载
  #dic_d2: jar://org.ansj.dic.DicReader|/dic2.dic
  # 从数据库中加载
  #dic_d3: jdbc://jdbc:mysql://xxxx:3306/ttt?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull|username|password|select name as name,nature,freq from dic where type=1
  # 从自定义类中加载，YourClas extends PathToStream
  #dic_d3: class://xxx.xxx.YourClas|ohterparam

  #过滤词典配置
  #stop: http,file,jar,class,jdbc 都支持
  #stop_key1: ...

  #歧义词典配置
  #ambiguity: http,file,jar,class,jdbc 都支持
  #ambiguity_key1: ...

  #同义词词典配置
  #synonyms: http,file,jar,class,jdbc 都支持
  #synonyms_key1: ...

配置文件示例

使用本地文件词库

ansj:
  # 开启姓名识别
  isNameRecognition: false
  # 开启数字识别
  isNumRecognition: true
  # 是否数字和量词合并
  isQuantifierRecognition: false
  # 是否保留真实词语
  isRealName: false
  # 词典
  dic: file:///data/elasticsearch-dic/ansj/main.dic
  # 停词（过滤词）词典
  stop: file:///data/elasticsearch-dic/ansj/stop.dic
  # 歧义词词典配置
  ambiguity: file:///data/elasticsearch-dic/ansj/ambiguity.dic
  # 同义词词典配置
  synonyms: file:///data/elasticsearch-dic/ansj/synonyms.dic

使用 HTTP 协议加载词库

ansj:
  # 开启姓名识别
  isNameRecognition: false
  # 开启数字识别
  isNumRecognition: true
  # 是否数字和量词合并
  isQuantifierRecognition: false
  # 是否保留真实词语
  isRealName: false
  # 词典
  dic: http://example.com/elasticsearch-dic/ansj/main.dic
  # 停词（过滤词）词典
  stop: http://example.com/elasticsearch-dic/ansj/stop.dic
  # 歧义词词典配置
  ambiguity: http://example.com/elasticsearch-dic/ansj/ambiguity.dic
  # 同义词词典配置
  synonyms: http://example.com/elasticsearch-dic/ansj/synonyms.dic

插件版本与 ES 版本的对应关系

版权

elasticsearch-analysis-ansj 采用 Apache License 2.0 版本授权。详情请参阅 LICENSE 文件。