深度问答

目录

• 简介
• 安装
• 运行
  • 聊天机器人
  • Web 界面
• 结果
• 预训练模型
• 改进
• 升级

简介

本项目旨在复现 A Neural Conversational Model（即谷歌聊天机器人）的研究成果。它使用 RNN（seq2seq 模型）进行句子预测，开发语言为 Python，框架为 TensorFlow。

程序中的语料加载部分受到 Torch 的 neuralconvo 项目的启发，该项目由 macournoyer 开发。

目前，DeepQA 支持以下对话语料库：

• 康奈尔电影对话数据集（默认）。克隆仓库时已包含。
• OpenSubtitles（感谢 Eschnou）。该语料库规模更大，但噪声也更多。要使用它，请按照 这些说明操作，并使用 --corpus opensubs 标志。
• 美国最高法院对话数据集（感谢 julien-c）。可通过 --corpus scotus 使用。安装说明请参见 这里。
• Ubuntu 对话数据集（感谢 julien-c）。可通过 --corpus ubuntu 使用。安装说明请参见 这里。
• 自定义数据集（感谢 julien-c），只需采用简单的自定义对话格式即可（更多信息请参见 这里）。

为了加快训练速度，还可以使用预训练的词嵌入（感谢 Eschnou）。更多信息请参见 这里。

安装

该程序需要以下依赖项（可使用 pip 轻松安装：pip3 install -r requirements.txt）：

• Python 3.5
• TensorFlow（已测试 v1.0）
• NumPy
• CUDA（用于 GPU 加速）
• NLTK（自然语言处理工具包，用于对句子进行分词）
• tqdm（用于显示漂亮的进度条）

此外，您可能还需要下载一些额外的数据以使 NLTK 正常工作。

python3 -m nltk.downloader punkt

康奈尔数据集已包含在内。对于其他数据集，请查看各自文件夹（位于 data/ 内）中的 README 文件。

Web 界面还需要一些额外的软件包：

• Django（已测试 1.10 版）
• Channels
• Redis（详情请参见 这里）
• asgi_redis（至少 1.0 版）

此外，还提供 Docker 安装方式。详细说明请参见 这里。

运行

聊天机器人

要训练模型，只需运行 main.py 即可。训练完成后，您可以使用 main.py --test 测试结果（生成的测试结果位于 save/model/samples_predictions.txt）或 main.py --test interactive（更有趣）。

以下是一些可能有用的标志。如需更多帮助和选项，请使用 python main.py -h：

• --modelTag <name>：为当前模型命名，以便在测试和训练时区分不同模型。
• --keepAll：在训练时使用此标志，以便在测试时查看不同步骤的预测结果（例如，随着训练的进行，程序可能会逐渐调整其名称和年龄等信息）。注意：如果不增加 --saveEvery 选项，存储空间可能会迅速耗尽。
• --filterVocab 20 或 --vocabularySize 30000：限制词汇表大小，以优化性能和内存使用。将出现频率低于 20 次的单词替换为 <unknown> 标记，并设置最大词汇量。
• --verbose：在测试时，会打印出正在计算的句子。
• --playDataset：展示来自数据集的一些对话样本（如果这是您唯一想执行的操作，可以与 --createDataset 结合使用）。

要使用 TensorBoard 可视化计算图和损失函数，只需运行 tensorboard --logdir save/ 即可。

默认情况下，网络架构为标准的编码器/解码器结构，包含两层 LSTM（隐藏层大小为 256），词汇表嵌入维度为 32。网络使用 ADAM 优化器进行训练。最大句子长度设置为 10 个词，但可以增加。

Web 界面

训练完成后，您可以使用更友好的界面与其进行对话。服务器将读取复制到 save/model-server/model.ckpt 的模型文件。首次使用时，您需要先进行配置：

export CHATBOT_SECRET_KEY="my-secret-key"
cd chatbot_website/
python manage.py makemigrations
python manage.py migrate

然后，在本地启动服务器时，使用以下命令：

cd chatbot_website/
redis-server &  # 在后台启动 Redis
python manage.py runserver

启动后，界面应可在 http://localhost:8000/ 访问。如果您想将程序部署到服务器上，请使用 python manage.py runserver 0.0.0.0 替代。更多信息请参见 这里。

结果

令人惊讶的是，仅经过1至2小时的训练（在GeForce GT 740M上），就能得到一些结果。方法是将输入序列大幅缩减至5个词、输出缩减至3个词（加上go和eos标记），并使用较小的嵌入维度（比如25）。此后我对代码进行了修改，现在要求输入和输出长度一致，但仍然可以通过这个版本复现最初的效果。

当然，生成的对话并不会特别流畅：

Q: 你好
A: 你好。

Q: 你叫什么名字？
A: 劳拉。

Q: 那是什么意思？
A: 我不知道。

Q: 你多大了？
A: 三十五岁。

Q: 谷歌会雇用我吗？
A: 不会。

Q: 给我说说字母表吧
A: 去你的。

Q: 这可不太礼貌
A: 是啊。

以下是一些它表现不佳的例子：

Q: 劳拉是谁？
A: 我的兄弟。

Q: 说声再见
A: 好吧。

Q: 在煮什么？
A: 一个频道。

Q: 你能说“不”吗？
A: 不。

Q: 二加二
A: 曼尼……

当句子变长时，网络的训练速度会显著降低。在maxLength=10、迭代次数达到25万次后，网络仍然主要给出回避性的回答（对大多数开放式问题都回答“我不知道”），不过似乎已经掌握了一些基本语义：

Q: 烟花什么时候放？
A: 明天。

Q: 什么颜色？
A: 灰色。

Q: 哪个苹果？
A: 那第一个。

Q: 现在几点了？
A: 十一点。

Q: 斯凯沃克是谁？
A: 她是一名自由职业的生物驱魔师。

Q: 约翰是谁？
A: 那位老人。

Q: 珍妮是谁？
A: 自杀的那个男人。

Q: 你什么时候出生的？
A: 很快。

从最后几个问题可以看出，网络在性别以及现在/未来的区分上仍存在混淆。我还尝试了一些更深层次的哲学问题，效果参差不齐：

Q: 拥有智慧的意义是什么？
A: 人类已经过时了。

Q: 什么是不道德的？
A: 真相。

Q: 什么是道德？
A: 最糟糕的。

Q: 存在的意义是什么？
A: 这是私人的。

Q: 如果机器能够思考，会发生什么？
A: 我想我只会和你一起躺着。

我训练的模型受限于所设置的嵌入维度、模型规模以及训练数据集的大小。它的“思维向量”可能也太小，难以应对如下类型的问题：

Q: 我叫大卫。我叫什么名字？
A: 黛比。

Q: 我叫约翰。我叫什么名字？
A: 卡尔·史密斯。

Q: 猫有几条腿？
A: 四条。

Q: 蜘蛛有几条腿？
A: 四条。

Q: 你更喜欢橄榄球还是足球？
A: 威士忌。

此外，模型似乎出现了过拟合现象，有时会直接输出与问题无关的训练集中句子。加入dropout层或许能缓解这一问题。

Q: 我打网球。我在打什么？
A: 我要搞到女人了。

Q: 天空是什么颜色？
A: 其中一名议员无处不在。

预训练模型（已失效）

注意：链接已无法访问。

你可以在这里找到一个基于默认语料库训练的预训练模型，使用方法如下：

1. 将压缩包解压到DeepQA/save/目录下。
2. 将预处理后的数据集从save/model-pretrainedv2/dataset-cornell-old-lenght10-filter0-vocabSize0.pkl复制到data/samples/目录。
3. 运行./main.py --modelTag pretrainedv2 --test interactive。

感谢Nicholas C.，这里（原始链接）提供了一些兼容TF 1.2的额外预训练模型，适用于多种数据集。该文件夹还包含Cornell、OpenSubtitles、Ubuntu和Scotus数据集的预处理版本（需移动至data/samples/目录）。如果你不想自行处理这些数据集，可以使用它们。

如果你拥有高端GPU，不妨尝试调整超参数或更换训练语料，以训练出更好的模型。根据我的实验，学习率和dropout率对最终效果的影响最大。另外，如果你愿意分享自己的模型，请随时联系我，我会在此处补充。

改进

除了尝试更大/更深的模型之外，还有很多小的改进可以尝试。如果你实现了其中任何一项，请随时提交拉取请求。以下是一些想法：

• 目前，预测是确定性的（网络只是选择概率最高的输出），因此在回答问题时，网络总是给出相同的答案。通过添加采样机制，网络可以生成更加多样化（或许也更有趣）的答案。最简单的方法是从 SoftMax 概率分布中采样下一个预测的词。结合 tf.nn.seq2seq.rnn_decoder 的 loop_function 参数，实现起来应该不会太难。之后，还可以调整 SoftMax 的温度参数，以获得更保守或更具创意的预测。
• 添加注意力机制可能会提升预测效果，尤其是在处理较长句子时。只需在 model.py 中将 embedding_rnn_seq2seq 替换为 embedding_attention_seq2seq 即可实现。
• 通常来说，数据越多越好。使用更大的语料库进行训练应该会带来益处。目前看来，Reddit 评论数据集 是最大的（但对当前程序来说又过于庞大）。另一种人为增加数据集大小的方法是在构建语料时拆分每个训练样本中的句子。例如，对于样本 Q:句子1. 句子2. => A:句子X. 句子Y.，我们可以生成三个新样本：Q:句子1. 句子2. => A:句子X.、Q:句子2. => A:句子X. 句子Y. 和 Q:句子2. => A:句子X.。注意：其他组合如 Q:句子1. => A:句子X. 则行不通，因为这会破坏连接问题与答案的过渡关系 2 => X。
• 应该像我在另一个 音乐生成 项目中那样，认真监控测试曲线。这将有助于更好地观察 dropout 对过拟合的影响。目前，我们只是通过手动检查不同训练步骤下的测试预测结果来经验性地判断。
• 当前，各个问题之间是相互独立的。要将问题串联起来，一个简单的方法是在生成答案之前，将所有之前的提问和回答一并输入到编码器中。可以在最终的编码器状态上进行缓存，以避免每次都重新计算。为了提高准确性，网络应当基于完整的对话序列进行训练，而不仅仅是单独的问答对。此外，在将历史对话输入编码器时，可以加入特殊的标记 <Q> 和 <A>，以便编码器能够识别对话双方的切换。不过，我并不确定简单的 seq2seq 模型是否足以捕捉句子之间的长期依赖关系。引入分桶机制，将输入长度相近的数据归为一组，可以显著提升训练速度。

DeepQA 快速上手指南

DeepQA 是一个基于 TensorFlow 和 RNN（Seq2Seq 模型）的开源对话机器人项目，旨在复现谷歌神经对话模型的效果。它支持使用康奈尔电影对白、OpenSubtitles 等多种语料库进行训练。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需配置相应环境)
• Python: 3.5 及以上版本
• 深度学习框架: TensorFlow (测试版本 v1.0，建议使用兼容的 1.x 版本)
• GPU 加速 (可选): CUDA (如需使用 GPU 训练)
• 其他依赖:
  • numpy
  • nltk (自然语言工具包)
  • tqdm (进度条显示)
  • django, channels, Redis, asgi_redis (仅当需要部署 Web 界面时)

前置数据下载: 安装完 nltk 后，需要下载分词数据：

python3 -m nltk.downloader punkt

安装步骤

1. 克隆项目代码

   git clone https://github.com/Conchylicultor/DeepQA.git
   cd DeepQA
   

   注：默认已包含 Cornell Movie Dialogs 数据集。若需使用 OpenSubtitles 或其他大型数据集，请参考 data/ 目录下对应文件夹的说明进行额外下载。

2. 安装 Python 依赖 推荐使用国内镜像源（如清华源）加速安装：

   pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. Web 界面额外依赖 (可选) 如果您计划使用 Web 聊天界面，还需安装：

   pip3 install django channels redis asgi_redis -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注意：使用 Web 界面前需确保本地已安装并运行 Redis 服务。

基本使用

1. 训练模型

运行主脚本开始训练。默认使用 Cornell 数据集，采用 encoder-decoder 架构（2 层 LSTM）。

python3 main.py

常用参数优化:

• --modelTag <name>: 为当前模型命名，便于区分不同实验。
• --filterVocab 20: 过滤出现次数少于 20 次的词汇，优化内存和性能。
• --vocabularySize 30000: 限制最大词汇量。
• --keepAll: 保存训练过程中每一步的模型（占用空间较大，但可观察模型演变）。

示例（带参数训练）：

python3 main.py --modelTag my_first_bot --filterVocab 20 --vocabularySize 30000

训练过程中，可使用 TensorBoard 可视化损失函数和计算图：

tensorboard --logdir save/

2. 测试与交互

训练完成后，您可以通过以下两种方式测试模型效果：

方式 A：生成样本文件 将预测结果保存到 save/model/samples_predictions.txt：

python3 main.py --test --modelTag my_first_bot

方式 B：交互式命令行聊天 (推荐) 直接在终端与机器人对话：

python3 main.py --test interactive --modelTag my_first_bot

3. 启动 Web 界面 (可选)

如果您已安装 Django 和 Redis 相关依赖，可以启动网页版聊天室：

1. 初始化数据库:

   export CHATBOT_SECRET_KEY="my-secret-key"
   cd chatbot_website/
   python manage.py makemigrations
   python manage.py migrate
   

2. 启动服务: 确保后台已运行 Redis (redis-server &)，然后执行：

   cd chatbot_website/
   python manage.py runserver
   

3. 访问: 打开浏览器访问 http://localhost:8000/ 即可开始聊天。