🍀 小智，又一个中文聊天机器人:yum:

💖 基于有趣的中文语料库 qingyun，由 @Doragd 同学编写的中文聊天机器人:snowman:

• 尽管她还不够完善:muscle:，也不够出色:paw_prints:

• 但她是我亲手 coding 出来的:sparkling_heart: ，所以

• 希望大家多多 star 支持:star: 这位 NLP（自然语言处理）初学者:runner: 和他的朋友🍀 小智

:rainbow: 背景

本项目是软件工程课程设计的一个子模块。我们的目标是开发一个智能客服工单处理系统。

该智能客服工单系统的实际工作流程如下：当用户向系统提问时，系统首先在知识库中查找是否存在相关问题；若存在，则返回对应答案，若用户不满意，可直接提交工单；若知识库中不存在相关问题，则调用此聊天机器人进行自动回复。

系统服务的场景类似于腾讯云的客服系统，客户多为咨询云服务器、域名等问题，因此知识库内容也主要围绕云服务器、域名等相关的咨询与故障处理（问题, 答案）集合。

系统的前端界面及前后端消息交互由另一位同学 @adjlyadv 完成，主要采用 React + Django 架构。

@Doragd 同学负责的是知识库的构建以及聊天机器人的编写、训练与测试。本仓库的内容即与此部分相关。

:star2: 测试效果

• 不使用知识库进行回答

• 使用知识库进行回答

• 整个系统效果：

:floppy_disk: 项目结构

│  .gitignore
│  config.py               # 模型配置参数
│  corpus.pth              # 已处理的数据集
│  dataload.py             # 数据加载器（dataloader）
│  datapreprocess.py       # 数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            # 训练、验证与测试
│  
├─checkpoints              
│      chatbot_0509_1437   # 已训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         # 语料库
│      
├─QA_data
│      QA.db               # 知识库
│      QA_test.py          # 使用知识库时调用
│      stop_words.txt      # 停用词
│      __init__.py
│      
└─utils
        beamsearch.py      # 待完成（to do）
        greedysearch.py    # 贪婪搜索，用于测试
        __init__.py

:couple: 依赖库

安装依赖：

$ pip install -r requirements.txt

:sparkling_heart: 开始使用

数据预处理（可省略）

$ python datapreprocess.py

对语料库进行预处理，生成 corpus.pth 文件（此处已上传 corpus.pth，故此步骤可跳过）

可修改参数：

# datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' # 未处理的对话数据集
max_voc_length = 10000 # 词典最大长度
min_word_appear = 10 # 加入词典的词最小词频
max_sentence_length = 50 # 最大句子长度
save_path = 'corpus.pth' # 已处理对话数据集保存路径

使用方式

• 使用知识库

启用知识库时，需传入参数 use_QA_first=True。此时，对于输入的问题，系统会优先在知识库中匹配最佳问答对并返回；若未找到匹配项，才调用聊天机器人自动生成回复。

此处的知识库是从腾讯云官方文档中爬取整理的常见问题与答案（共100条），仅用于测试！

$ python main.py chat --use_QA_first=True

• 不使用知识库

由于课程设计需求，加入了腾讯云问答对，但对聊天机器人本身而言并非必需。通常使用时设为 use_QA_first=False（该参数默认值为 True）：

$ python main.py chat --use_QA_first=False

• 使用默认参数

$ python main.py chat

• 退出聊天：输入 exit、quit 或 q 均可退出

其他可配置参数

详见 config.py 文件说明。

如需传入新参数，只需在命令行中指定即可，例如：

$ python main.py chat --model_ckpt='checkpoints/chatbot_0509_1437' --use_QA_first=False

上述命令指定了加载已训练模型的路径及是否使用知识库。

:cherry_blossom: 技术实现

语料库

语料名称	语料数量	语料来源说明	语料特点	语料样例	是否已分词
qingyun（青云语料）	10W	某聊天机器人交流群	相对不错，生活化	Q:看来你很爱钱 A:噢是吗？那么你也差不多了	否

• 来源：https://github.com/codemayq/chinese_chatbot_corpus

Seq2Seq（序列到序列模型）

• Encoder（编码器）：两层双向 GRU（门控循环单元）
• Decoder（解码器）：双层单向 GRU

Attention（注意力机制）

• Global attention（全局注意力），采用 dot 方式计算分数
• 参考文献：https://arxiv.org/abs/1508.04025

:construction_worker: 模型训练与评估

$ python train_eval.py train [--options]

定量评估部分尚未完成，计划采用困惑度（perplexity）作为衡量指标，目前仅能生成句子并人工评估质量。

$ python train_eval.py eval [--options]

:sob: 踩坑记录与总结

• 最深刻的体会是：“对深度学习知识的了解”与“真正理解”之间隔着 N 个编程实现的距离。虽然理论大家都懂，但实际编码时总会遇到各种问题：从数据集处理、公式实现、参数调优，到 GPU 配置等等。
• 本次实践过程先是跟随 PyTorch Tutorial 的 Chatbot 部分跑通代码，然后更换语料库、处理语料、按类风格重构代码，接着进入无尽 Debug 阶段，踩了不少坑，尤其是张量移至 GPU 时的各种问题——不清楚 to(device) 到底移动了哪些内容。
  • 经测试发现，model.to(device) 仅将模型参数移至 GPU，不会移动类中定义的成员张量。因此，若在 forward 方法中定义了新张量，需手动移动。
  • 移动顺序也很重要：应先将模型移至 GPU，再定义优化器；且移动方法应为 model = model.to(device)，别忘了赋值。
  • 显存不足是常见问题，写代码时需注意内存利用率，尽量减少重复张量。
  • 更换中文语料后，训练一直不收敛，最终发现是 batch_size 设置过小。实际上，在显存允许的情况下，batch_size 应尽可能大。之前虽看过相关资料，但写代码时完全忘了这回事——说明当时对 mini-batch 的理解不够深入，只有真正动手编码才能刻骨铭心（至少 bug 让人刻骨铭心）。
  • 另一个问题是误以为 torch.long 是高精度浮点类型，结果其实是 int64，导致一个 bug 花了很久才发现。这提醒我们：一定要认真阅读文档。
  • 最终收获是熟悉了如何从零实现一个模型，这点非常重要。
• 实际上，当前模型效果并不理想。抛开模型本身的问题，我发现分词质量会极大影响生成句子的质量，而目前我甚至还未设置停用词，导致出现一些奇怪的结果。
• 另一个问题是在处理变长序列时，若使用自定义损失函数，容易出现不稳定情况，目前仍在研究官方 API。
• 此次实践还暴露出我对某些参数理解不够深入，不知如何调整，仍需补充理论知识。
• 模型评估部分还需继续完善。

:pray: 致谢

• PyTorch 官方 Chatbot 教程
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• 提供中文语料库
  • https://github.com/codemayq/chinese_chatbot_corpus
• 内容与官方 Chatbot 教程一致，但附有详细代码注释
  • http://fancyerii.github.io/2019/02/14/chatbot/
• 模型写法与编码习惯参考
  • https://github.com/chenyuntc/pytorch-book

Chinese-Chatbot-PyTorch-Implementation 快速上手指南

环境准备

• 操作系统：支持 Windows / macOS / Linux
• Python 版本：建议 Python 3.6+
• PyTorch 版本：torch==1.0.1（推荐使用国内镜像加速安装）
• GPU 支持：可选，若使用 GPU 需提前配置 CUDA 环境

国内用户推荐使用清华或阿里云 pip 源加速：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

安装步骤

1. 克隆项目仓库：

git clone https://github.com/Doragd/Chinese-Chatbot-PyTorch-Implementation.git
cd Chinese-Chatbot-PyTorch-Implementation

2. 安装依赖库：

pip install -r requirements.txt

注：项目已预处理语料并提供训练好的模型，无需重新预处理或训练即可直接运行。

基本使用

启动聊天机器人（默认使用知识库）

python main.py chat

不使用知识库，纯生成式回复

python main.py chat --use_QA_first=False

加载指定模型路径

python main.py chat --model_ckpt='checkpoints/chatbot_0509_1437' --use_QA_first=False

退出对话

在聊天过程中输入以下任意命令即可退出：

exit
quit
q

提示：首次运行会自动加载预训练模型和语料数据，稍等片刻即可开始对话。