Chatito

尝试使用在线 IDE 吧！

概述

Chatito 可以帮助您使用简单的 DSL 生成用于训练和验证聊天机器人模型的数据集。

如果您正在使用商业模型、开源框架或自行编写自然语言处理模型来构建聊天机器人，那么您就需要训练和测试示例。Chatito 就能为您提供帮助。

本项目包含以下内容：

• 在线 Chatito IDE
• Chatito DSL 规范
• DSL AST 解析器，采用 pegjs 格式
• 基于 TypeScript 实现的生成器，并作为 npm 包发布

Chatito 语言

如需完整的语言规范及文档，请参阅 DSL 规范文档。

提示

预防过拟合

过拟合是可以通过正确使用 Chatito 来有效预防的问题。该工具的核心理念在于：将数据增强与可能的句子组合描述相结合。它并非旨在生成确定性数据集，以免对单一句子模型造成过拟合；在这些情况下，您可以根据需要对生成路径进行一定程度的控制，仅按需提取样本。

工具与资源

• Visual Studio Code 语法高亮插件 感谢 Yuri Golobokov 对此插件的贡献，他为该插件的开发付出了大量努力（GitHub 地址）。

• AI 蓝图：如何构建并部署 AI 业务项目 在第 7 章中，详细介绍了利用 Chatito 构建实用且完整的聊天机器人案例。

• 3 个步骤：在不同 NLP 提供商之间转换聊天机器人训练数据 详细阐述了将数据格式转换为未实现适配器的简单方法。您还可以使用由 DialogFlow、Wit.ai 和 Watson 等提供商生成的数据集。

• Aida-nlp 是一款轻量级的实验性 NLP 深度学习库，专为文本分类和命名实体识别而设计。该库基于 Tensorflow.js、Keras 和 Chatito 构建而成，支持 JavaScript 和 Python 两种编程语言。

适配器

该语言与生成的输出格式无关，且由于每个模型可接收不同的参数和设置，因此目前我们已实现了以下几种数据格式。如果您的提供商未列在此处，可在“工具与资源”部分找到更多关于如何支持更多格式的信息。

注意：为了便于审查，各意图之间的样本不会被打乱；此外，部分适配器会直接将样本流式传输至文件中，因此建议将意图拆分为多个文件，以便于更轻松地进行审查与维护。

Rasa

Rasa 是一款开源的机器学习框架，适用于自动化文本和语音对话。它能够理解消息、维持对话，并与消息渠道和 API 进行连接。Chatito 可以帮助您为 Rasa NLU 组件构建数据集。

Rasa 适配器的一个特殊行为是：当某个槽位定义的句子仅包含一个别名，且该别名将“同义词”参数设置为“真”时，生成的 Rasa 数据集会将该别名映射为同义词。例如：

%[某些意图]('训练': '1')
    @[某些槽位]

@[某些槽位]
    ~[某些槽位同义词]

~[某些槽位同义词]('同义词': '真')
    同义词 1
    同义词 2

在本示例中，生成的 Rasa 数据集会包含 entity_synonyms 中的 同义词 1 和 同义词 2，它们分别映射到 某些槽位同义词。

Flair

Flair 是一款极为简洁的先进 NLP 框架。该框架由 Zalando Research 开发，提供了多种语言的预训练嵌入向量，可直接开箱即用，涵盖 (GPT、BERT、RoBERTa、XLNet、ELMo 等)。此适配器支持使用 FastText 格式的“文本分类”数据集，以及采用两列标注的“命名实体识别”数据集——BIO 标签标注的词语，具体信息请参见 Flair 语料库文档。这两种数据格式非常常见，且在众多其他提供商或模型中也广泛使用。

命名实体识别数据集需要进行单词分词处理，目前这一过程由 简单分词器 完成。

注意：Flair 适配器仅适用于 NodeJS 的 npm CLI 包，不适用于 IDE。

LUIS

LUIS 是微软认知服务的一部分。Chatito 支持通过其 批量添加带标签语句端点 和 批量测试 API 来训练 LUIS NLU 模型。

要训练 LUIS 模型，您需要将语句分批提交至相关 API，以进行训练或测试。

参考问题：#61

Snips NLU

Snips NLU 是另一款优秀的开源 NLU 框架。Snips 适配器的一个特殊行为是：您可以为槽位定义实体类型。例如：

%[日期搜索]('训练': '1')
   for @[日期]

@[日期]('实体': 'snips/日期')
    ~[今天]
    ~[明天]

在上述示例中，所有 @[日期] 值都会被标记为 snips/日期 实体标签。

默认格式

如果您计划训练自定义模型，或正在编写自定义适配器，请使用默认格式。此格式最为灵活，因为您可以为“槽位”和“意图”添加自定义实体参数，且这些参数都会出现在生成的输出中。例如，您还可以在 DSL 中加入对话/响应生成逻辑。例如：

%[某些意图]('上下文': '某些注释')
    @[某些槽位] ~[请？]

@[某些槽位]('必填': 'true', '类型': '某种类型')
    ~[此处可添加别名]

像“上下文”、“必填”和“类型”等自定义实体将在输出中可用，因此您可以根据自己的需求来处理这些自定义参数。

NPM 包

Chatito 支持 Node.js >= v8.11。

通过 Yarn 或 npm 进行安装：

npm i chatito --save

然后创建一个定义文件（例如：trainClimateBot.chatito），并在其中编写您的代码。

运行 npm 生成器：

npx chatito trainClimateBot.chatito

生成的数据集将位于您的定义文件旁边。

以下是完整的 npm 生成器选项：

npx chatito <pathToFileOrDirectory> --format=<format> --formatOptions=<formatOptions> --outputPath=<outputPath> --trainingFileName=<trainingFileName> --testingFileName=<testingFileName> --defaultDistribution=<defaultDistribution> --autoAliases=<autoAliases>

• <pathToFileOrDirectory> 是 .chatito 文件或包含 Chatito 文件的目录的路径。如果该路径是一个目录，则会递归搜索其内部的所有 *.chatito 文件，并使用这些文件来生成数据集。例如：lightsChange.chatito 或 ./chatitoFilesFolder。

• <format> 可选。支持 default、rasa、luis、flair 或 snips。

• <formatOptions> 可选。指向一个 .json 文件，各适配器可根据需要选择使用。

• <outputPath> 可选。用于保存生成数据集的目录。默认情况下，将使用当前目录作为输出路径。

• <trainingFileName> 可选。生成的训练数据集文件的名称。请务必在文件名后添加 .json 扩展名。默认文件名为 <format>_dataset_training.json。

• <testingFileName> 可选。生成的测试数据集文件的名称。请务必在文件名后添加 .json 扩展名。默认文件名为 <format>_dataset_testing.json。

• <defaultDistribution> 可选。若未在实体级别定义，默认频率分布。默认值为 regular，也可设置为 even。

• <autoAliases> 可选。当发现未定义的别名时的生成器行为。有效选项包括 allow、warn、restrict。默认值为 allow。

作者与维护者

Rodrigo Pimentel

sr.rodrigopv[at]gmail

Chatito 快速上手指南

Chatito 是一个用于生成聊天机器人训练和验证数据集的开源工具。它通过简单的领域特定语言（DSL）描述意图和实体组合，帮助开发者高效构建高质量的 NLP 训练数据，支持 Rasa、LUIS、Snips、Flair 等多种主流框架格式。

环境准备

• 操作系统：Windows、macOS 或 Linux
• 运行环境：Node.js >= v8.11
• 包管理器：npm 或 yarn

请确保已安装 Node.js。可通过以下命令检查版本：

node -v

安装步骤

使用 npm 全局安装 Chatito：

npm i chatito --save

💡 国内用户推荐使用淘宝镜像加速安装：

npm config set registry https://registry.npmmirror.com
npm i chatito --save

基本使用

1. 创建定义文件

新建一个 .chatito 后缀的文件，例如 trainClimateBot.chatito，内容如下：

%[get_weather]('training': '1')
    今天 @[city] 天气怎么样？
    查询 @[city] 的天气

@[city]
    ~[beijing]
    ~[shanghai]
    ~[guangzhou]

~[beijing]
    北京
    北京市

~[shanghai]
    上海
    上海市

~[guangzhou]
    广州
    广州市

2. 生成数据集

在终端中运行以下命令生成训练数据：

npx chatito trainClimateBot.chatito

默认会生成两个文件：

• default_dataset_training.json（训练集）
• default_dataset_testing.json（测试集）

3. 指定输出格式（可选）

若需生成适配特定框架的数据（如 Rasa），可添加 --format 参数：

npx chatito trainClimateBot.chatito --format=rasa --outputPath=./data

支持的平台包括：default、rasa、luis、snips、flair。

生成的数据文件将保存在当前目录或指定的 outputPath 路径下，可直接用于对应 NLP 平台的模型训练。