Rasa NLU Chi: 打造中文自然语言理解系统

Rasa_NLU_Chi

Rasa NLU Chi简介

Rasa NLU Chi是由GitHub用户crownpku开发的一个开源项目,旨在为中文自然语言理解(NLU)提供一个强大的工具。该项目是基于广受欢迎的Rasa NLU框架进行改造,专门针对中文语言特点进行了优化和定制。Rasa NLU Chi的主要目标是将中文自然语言输入转化为结构化的数据,为中文对话系统和聊天机器人的开发提供坚实的语言理解基础。

目前,Rasa NLU Chi在GitHub上已经获得了1.5k+的star和422次fork,显示出其在中文NLP社区的受欢迎程度。项目采用Apache-2.0开源许可证,允许开发者自由使用、修改和分发。

主要特性

Rasa NLU Chi具有以下几个主要特性:

中文优化:针对中文语言特点进行了专门优化,包括中文分词、词性标注等。
意图识别:能够准确识别用户输入的意图,如问候、查询、预订等。
实体抽取:从用户输入中提取关键实体信息,如时间、地点、人名等。
易于扩展:基于Rasa NLU的架构,可以方便地扩展新的功能和模型。
配置灵活:提供多种pipeline配置选项,可以根据需求自由组合不同的NLP组件。
训练简单:只需准备训练数据,即可快速训练出自己的NLU模型。

安装与使用

要使用Rasa NLU Chi,首先需要克隆GitHub仓库并安装依赖:

git clone https://github.com/crownpku/Rasa_NLU_Chi.git
cd Rasa_NLU_Chi
python setup.py install

Rasa NLU Chi提供了多种pipeline配置选项,其中比较推荐的是使用MITIE+Jieba+sklearn的组合:

language: "zh"

pipeline:
- name: "nlp_mitie"
  model: "data/total_word_feature_extractor_zh.dat"
- name: "tokenizer_jieba"
- name: "ner_mitie"
- name: "ner_synonyms"
- name: "intent_entity_featurizer_regex"
- name: "intent_featurizer_mitie"
- name: "intent_classifier_sklearn"

训练模型的命令如下:

python -m rasa_nlu.train -c sample_configs/config_jieba_mitie_sklearn.yml --data data/examples/rasa/demo-rasa_zh.json --path models

启动Rasa NLU服务器:

python -m rasa_nlu.server -c sample_configs/config_jieba_mitie_sklearn.yml --path models

然后就可以通过HTTP接口进行自然语言理解的调用了。

训练数据准备

Rasa NLU Chi的训练数据采用JSON格式,包含了意图(intent)和实体(entity)的标注信息。以下是一个简单的例子:

{
  "text": "我想找地方吃火锅", 
  "intent": "restaurant_search",
  "entities": [
    {
      "start": 7,
      "end": 9,
      "value": "火锅",
      "entity": "food"
    }
  ]
}

开发者需要准备足够多的带标注的训练样本,以覆盖各种可能的用户输入。