wink-nlp-utils

NLP 函数用于放大否定、管理省略、创建 n-gram、词干、语音编码到标记等。

使用 wink-nlp-utils 为自然语言处理（NLP）准备原始文本。它提供了一套 API 来处理字符串，如名称、句子、段落和以字符串/单词数组表示的标记。它们为许多机器学习任务执行必要的预处理，如语义搜索和分类。

👉🏽	我们建议使用 winkNLP 进行核心自然语言处理任务。它以极快的速度执行分词、句子边界检测和命名实体识别。它支持您从情感分析、词性标注、词形还原、词干提取、停用词去除、否定处理、二元组到频率表创建等所有文本处理需求。 WinkNLP 具有用户友好的声明式 API，用于迭代、过滤和文本可视化，并可在网络浏览器上运行。

安装

使用 npm 安装：

npm install wink-nlp-utils --save

入门

wink-nlp-utils 提供了超过 36 个实用函数用于自然语言处理任务。一些代表性的例子包括从字符串中提取人名、组合聊天机器人的训练语料库、句子边界检测、分词和停用词去除：


// 加载 wink-nlp-utils
var nlp = require( 'wink-nlp-utils' );

// 从字符串中提取人名：
var name = nlp.string.extractPersonsName( 'Dr. Sarah Connor M. Tech., PhD. - AI' );
console.log( name );
// -> 'Sarah Connor'

// 从字符串中组合所有可能的句子：
var str = '[I] [am having|have] [a] [problem|question]';
console.log( nlp.string.composeCorpus( str ) );
// -> [ 'I am having a problem',
// ->   'I am having a question',
// ->   'I have a problem',
// ->   'I have a question' ]

// 句子边界检测。
var para = 'AI Inc. is focussing on AI. I work for AI Inc. My mail is r2d2@yahoo.com';
console.log( nlp.string.sentences( para ) );
// -> [ 'AI Inc. is focussing on AI.',
//      'I work for AI Inc.',
//      'My mail is r2d2@yahoo.com' ]

// 对句子进行分词。
var s = 'For details on wink, check out http://winkjs.org/ URL!';
console.log( nlp.string.tokenize( s, true ) );
// -> [ { value: 'For', tag: 'word' },
//      { value: 'details', tag: 'word' },
//      { value: 'on', tag: 'word' },
//      { value: 'wink', tag: 'word' },
//      { value: ',', tag: 'punctuation' },
//      { value: 'check', tag: 'word' },
//      { value: 'out', tag: 'word' },
//      { value: 'http://winkjs.org/', tag: 'url' },
//      { value: 'URL', tag: 'word' },
//      { value: '!', tag: 'punctuation' } ]

// 去除停用词：
var t = nlp.tokens.removeWords( [ 'mary', 'had', 'a', 'little', 'lamb' ] );
console.log( t );
// -> [ 'mary', 'little', 'lamb' ]

尝试在浏览器中使用 Runkit 试验这些示例。