NLP.js

如果你正在寻找版本 3 的文档，你可以在这里找到 版本 3

"NLP.js" 是一个适用于 Node.js 的自然语言通用工具。目前支持：

• 猜测短语的语言
• 两个字符串之间的快速 Levenshtein 距离（一种衡量字符串差异的算法）
• 搜索与给定模式具有最小 Levenshtein 距离的最佳子串。
• 获取多种语言的词干提取器 (stemmers) 和分词器 (tokenizers)。
• 情感分析 (Sentiment Analysis)，支持否定。
• 命名实体识别 (Named Entity Recognition) 与管理，支持多语言，并接受相似字符串，因此输入文本无需完全精确。
• 自然语言处理 (Natural Language Processing) 分类器，用于将话语 (utterance) 分类为意图 (intents)。
• NLP 管理器：一个能够管理多种语言、每种语言的命名实体、话语和意图以训练分类器的工具，并为给定话语返回实体提取、意图分类和情感分析。此外，它还能维护一个自然语言生成管理器来处理回答。
• 原生支持 40 种语言，集成 BERT 后支持 104 种语言
• 任何其它语言都可以通过分词支持，甚至是幻想语言

版本 4 新功能！

版本 4 与之前的版本有很大不同。在此版本之前，NLP.js 是一个单体库 (monolithic library)。主要变化如下：

• 现在库被拆分为多个小型独立包。
• 因此每种语言都有其自己的包。
• 它提供插件系统 (plugin system)，你可以提供自己的插件或替换现有插件。
• 它为插件、插件设置以及管道 (pipelines) 提供容器系统。
• 管道是定义插件如何交互的代码。通常是线性的：有一个输入进入插件，然后生成下一个插件的输入。例如，话语的准备（将话语转换为词干特征哈希表 (hashmap) 的过程）现在是一个这样的管道：normalize -> tokenize -> removeStopwords -> stem -> arrToObj
• 有一个简单的管道编译器，但它们也可以使用修改版的 JavaScript 和 Python 构建（编译器也作为插件包含在内，因此可以添加其他语言作为插件）。
• NLP.js 现在包含连接器 (connectors)，连接器被理解为至少具有 2 个方法：hear 和 say 的东西。包括的连接器示例：控制台连接器 (Console Connector)、Microsoft Bot Framework 连接器和 Direct Line 离线连接器（后者允许你使用 Microsoft Webchat 构建网络聊天机器人，而无需在 Azure 上部署任何内容）。
• 一些插件可以按语言注册，因此对于不同的语言会使用不同的插件。此外，一些插件（如自然语言理解 (NLU)）不仅可以按语言注册，还可以按领域 (domain) 注册（一组可以单独训练的意图的功能集合）。
• 作为按语言/域插件的一个示例，提供了一个 Microsoft LUIS NLU 插件。你可以配置你的聊天机器人对某些语言/域使用 NLP.js 的 NLU，对其他语言/域使用 LUIS。
• 拥有插件和管道使得仅通过修改配置文件和管道文件即可编写聊天机器人成为可能，而无需修改代码。

目录

• 安装
• 快速入门
  • 安装库
  • 创建代码
  • 将语料库提取到文件中
  • 将配置提取到文件中
  • 创建您的第一个处理流程
  • 控制台连接器
  • 使用处理流程扩展您的机器人
  • 添加多种语言
  • 添加 API 和 Web 聊天
  • 使用 Microsoft Bot Framework
  • 识别机器人名称和渠道
  • 每个连接器一个机器人
  • Microsoft Bot Framework 和 Webchat 使用不同端口
  • 向意图添加逻辑
  • 常见问题解答
• Web 和 React Native
  • 准备生成打包文件
  • 您的第一个 Web 自然语言处理 (NLP)
  • 创建可分发版本
  • 从 URL 加载语料库
• 问答 (QnA)
  • 安装库和 QnA 插件
  • 训练和测试 QnA 文件
  • 将配置提取到文件中
  • 通过 Web 和 API 暴露机器人
• 命名实体识别 (NER) 快速入门
  • 安装所需包
  • 创建 conf.json
  • 创建 corpus.json
  • 创建 heros.json
  • 创建 index.js
  • 启动应用程序
  • 存储的上下文
• 神经网络 (NeuralNetwork)
  • 介绍
  • 安装
  • 语料库格式
  • 使用示例
  • 导出训练好的模型到 JSON 并导入
  • 选项
• 日志记录器 (Logger)
  • 介绍
  • @nlpjs/core 中的默认日志记录器
  • @nlpjs/basic 中的默认日志记录器
  • 将自定义日志记录器添加到容器
• 表情符号 (@nlpjs/emoji)
  • 介绍
  • 安装
  • 使用示例
• 控制台连接器 (@nlpjs/console-connector)
  • 安装
  • 在 NLP.js 内部的使用示例
  • 包的使用示例
  • 与 @nlpjs/basic 配合使用的示例
• 相似度 (@nlpjs/similarity)
  • 安装
  • 编辑距离 (Leven)
  • 相似度计算
  • 拼写检查 (SpellCheck)
  • 使用文本训练的单词进行训练的拼写检查
• 自然语言理解 (NLU) (@nlpjs/nlu)
  • 安装
  • NluNeural
  • 领域管理器 (DomainManager)
  • NLU 管理器 (NluManager)
• React Native
• 使用示例
• 假阳性
• 记录训练进度
• 基准测试
• 语言支持
  • 支持的语言
  • 情感分析
  • 与其他 NLP 产品的比较
  • 多语言示例
• 语言猜测器
• 相似搜索
• 自然语言理解 (NLU)
  • NLU 管理器
  • Brain NLU
  • 贝叶斯 NLU
  • 二元相关性 NLU
  • 逻辑回归 NLU
• 命名实体识别 (NER) 管理器
  • 枚举命名实体
  • 正则表达式命名实体
  • 修剪命名实体
  • 包含重复实体的话语
• 与 Duckling 集成
  • 语言支持
  • 如何与 Duckling 集成
  • 邮箱提取
  • 电话号码提取
  • URL 提取
  • 数字提取
  • 序数词提取
  • 维度提取
  • 数量提取
  • 金额提取
  • 日期提取
• 内置实体提取
  • 邮箱提取
  • IP 地址提取
  • 话题标签提取
  • 电话号码提取
  • URL 提取
  • 数字提取
  • 序数词提取
  • 百分比提取
  • 年龄提取
  • 货币提取
  • 日期提取
  • 时长提取
• 情感分析
• 自然语言处理 (NLP) 管理器
  • 加载/保存
  • 导入/导出
  • 上下文
  • 意图逻辑（动作、处理流程）
• 槽位填充
• 从 Excel 加载
• Microsoft Bot Framework
  • 介绍
  • 使用示例
  • 识别器和槽位填充
• [语言]
  • 英语
  • 印度尼西亚语
  • 意大利语
  • 西班牙语
• 贡献指南
• 贡献者
• 行为准则
• 项目幕后人员
• 许可证

安装

如果你想在 Node 应用程序中使用 NLP.js（自然语言处理），可以通过 NPM 如下安装：

    npm install node-nlp

React Native

有一个适用于 React Native 的 NLP.js 版本，因此你可以构建聊天机器人，即使在没有网络的情况下也能在移动设备上训练和执行。你可以通过 NPM 安装它：

    npm install node-nlp-rn

一些限制：

• 不支持中文
• 日语词干提取器不完整
• 不支持 Excel 导入
• 不支持从文件加载或保存到文件，但仍可以从 JSON 导入并导出到 JSON。

使用示例

你可以在 /examples/02-qna-classic 文件夹中看到一个很好的使用示例。此示例能够训练机器人并将模型保存到文件中，因此当再次启动机器人时，会加载模型而不是重新训练。

你可以用几行代码从头开始构建你的 NLP（自然语言处理）：

const { NlpManager } = require('node-nlp');

const manager = new NlpManager({ languages: ['en'], forceNER: true });
// Adds the utterances and intents for the NLP
manager.addDocument('en', 'goodbye for now', 'greetings.bye');
manager.addDocument('en', 'bye bye take care', 'greetings.bye');
manager.addDocument('en', 'okay see you later', 'greetings.bye');
manager.addDocument('en', 'bye for now', 'greetings.bye');
manager.addDocument('en', 'i must go', 'greetings.bye');
manager.addDocument('en', 'hello', 'greetings.hello');
manager.addDocument('en', 'hi', 'greetings.hello');
manager.addDocument('en', 'howdy', 'greetings.hello');

// Train also the NLG
manager.addAnswer('en', 'greetings.bye', 'Till next time');
manager.addAnswer('en', 'greetings.bye', 'see you soon!');
manager.addAnswer('en', 'greetings.hello', 'Hey there!');
manager.addAnswer('en', 'greetings.hello', 'Greetings!');

// Train and save the model.
(async() => {
    await manager.train();
    manager.save();
    const response = await manager.process('en', 'I should go now');
    console.log(response);
})();

这将在控制台中产生以下结果：

{ utterance: 'I should go now',
  locale: 'en',
  languageGuessed: false,
  localeIso2: 'en',
  language: 'English',
  domain: 'default',
  classifications:
   [ { label: 'greetings.bye', value: 0.698219120207268 },
     { label: 'None', value: 0.30178087979273216 },
     { label: 'greetings.hello', value: 0 } ],
  intent: 'greetings.bye',
  score: 0.698219120207268,
  entities:
   [ { start: 12,
       end: 14,
       len: 3,
       accuracy: 0.95,
       sourceText: 'now',
       utteranceText: 'now',
       entity: 'datetime',
       resolution: [Object] } ],
  sentiment:
   { score: 1,
     comparative: 0.25,
     vote: 'positive',
     numWords: 4,
     numHits: 2,
     type: 'senticon',
     language: 'en' },
  actions: [],
  srcAnswer: 'Till next time',
  answer: 'Till next time' }

误报

默认情况下，神经网络试图避免误报。为了实现这一点，其中一个内部过程是将网络从未见过的单词表示为一个特征，该特征给予 None 意图一定的权重。因此，如果你尝试之前的示例"I have to go"，它将返回 None 意图，因为在训练过程中 4 个单词中有 2 个从未被见过。 如果你不想避免这些误报，并且更倾向于将你声明的意图进行分类，那么你可以通过将 useNoneFeature 设置为 false 来禁用此行为：

const manager = new NlpManager({ languages: ['en'], nlu: { useNoneFeature: false } });

记录训练进度

你还可以添加日志进度，以便跟踪训练期间发生的事情。 你可以将进度记录到控制台：

const nlpManager = new NlpManager({ languages: ['en'], nlu: { log: true } });

或者你可以提供自己的日志函数：

const logfn = (status, time) => console.log(status, time);
const nlpManager = new NlpManager({ languages: ['en'], nlu: { log: logfn } });

贡献

你可以在 贡献指南 中阅读如何贡献。

贡献者

由 contributors-img 制作。

行为准则

你可以在 行为准则 中阅读相关内容。

谁在背后支持？

本项目由 AXA Group Operations Spain S.A. 开发。

如果需要联系我们，可以通过邮箱 opensource@axa.com 联系。

许可证

版权所有 (c) AXA Group Operations Spain S.A.

特此免费授予任何获得本软件及其相关文档文件副本（以下简称“软件”）的人不受限制地处理本软件的权利，包括但不限于使用权、复制权、修改权、合并权、出版权、发行权、再许可权和/或出售软件副本的权利，并允许向其提供本软件的人员这样做，但须符合下列条件：

上述版权声明和本许可声明应包含在所有软件副本或重要部分中。

本软件按“原样”提供，不提供任何形式的保证，无论是明示的还是暗示的，包括但不限于对适销性、特定用途适用性和非侵权的保证。在任何情况下，作者或版权持有人均不对因合同、侵权行为或其他原因引起的任何索赔、损害或其他责任负责，无论是在合同诉讼、侵权行为还是其他方面，源于软件的使用或其他方式使用软件。

nlp.js 快速上手指南

nlp.js 是一个基于 Node.js 的通用自然语言处理（NLP）工具库。最新版本（v4）采用模块化设计，支持多语言、情感分析、实体识别及意图分类等功能。

1. 环境准备

• 系统要求: 推荐使用 Node.js LTS 版本（如 v16 或更高）。
• 包管理器: npm, yarn 或 pnpm。
• 网络优化: 由于依赖包较多，建议配置国内镜像源以加快下载速度。

npm config set registry https://registry.npmmirror.com

2. 安装步骤

nlp.js v4 已拆分为多个独立包。对于快速构建基础聊天机器人，建议安装核心模块：

npm install @nlpjs/core @nlpjs/nlp-manager @nlpjs/similarity @nlpjs/basic

如需在浏览器端使用，可参考文档中的 Web 打包指南；若需集成 Microsoft Bot Framework，请额外安装对应连接器。

3. 基本使用

以下示例演示如何初始化 NLP Manager，加载语料并识别用户输入。

创建文件 index.js:

const { NlpManager } = require('@nlpjs/nlp-manager');
const { Similary } = require('@nlpjs/similarity');
const { Basic } = require('@nlpjs/basic');

async function main() {
  // 1. 初始化管理器
  const manager = new NlpManager({ languages: ['zh'] });
  
  // 2. 加载语料数据 (corpus.json)
  // 确保目录下存在训练数据文件，格式为 JSON
  await manager.load('./data/corpus.json');
  
  // 3. 训练模型
  await manager.train();
  
  // 4. 保存模型到磁盘
  await manager.save();
  
  // 5. 处理用户输入
  const result = await manager.process('你好，我想查询订单');
  
  console.log(result);
}

main().catch(console.error);

运行程序：

node index.js

说明：

• 语料准备: 在使用前需准备 corpus.json 文件，包含意图（intents）和对应的例句（utterances）。
• 管道系统: v4 版本引入了 Pipeline 机制，可通过配置文件定义文本预处理流程（如分词、去停用词等），无需修改代码即可调整。
• 多语言支持: 通过 languages 参数配置所需语言，默认支持 40+ 种语言。