Torch 中的神经对话模型

这是对 使用神经网络进行序列到序列学习 (seq2seq) 的一种实现尝试，并试图复现 神经对话模型（又称 Google 聊天机器人）中的结果。

Google 聊天机器人论文因巧妙地回答了一些哲学问题而 声名鹊起，例如：

人类: 人生的目的是什么？
机器: 活得永远。

工作原理

该模型基于两个 LSTM 层。一个用于将输入句子编码为“思想向量”，另一个则用于将该向量解码为回复。这种模型被称为序列到序列或 seq2seq。

来源：http://googleresearch.blogspot.ca/2015/11/computer-respond-to-this-email.html

在本实验中，我们使用来自 康奈尔电影对话语料库 的电影对话来训练 seq2seq 模型。每条对话仅保留第一句。

示例对话

以下是使用以下命令训练 20 个 epoch、50000 个样本后的示例对话：

th train.lua --cuda --dataset 50000 --hiddenSize 1000

（在我的 GeForce GTX 780M 上训练了 3 天。）

对于 OpenCL，请使用 --opencl 代替 --cuda。如果要在 CPU 上训练，则无需指定上述任何选项。

警告：我目前无法再复现这些结果。原因似乎是某个依赖项发生了变化。不过，我正在基于 harvardnlp/seq2seq-attn 开发一个新的实现。

我: 喂？
机器人: 嗨。

我: 你好吗？
机器人: 我很好。

我: 你叫什么名字？
机器人: 很难形容。

我: 为什么呢？
机器人: 我也不太确定。

我: 天空是什么颜色？
机器人: 蓝色。

我: 你的工作是什么？
机器人: 不是说我他妈的是狼人啊！

我: 人生的意义是什么？
机器人: 一份礼物。

我: 你聪明吗？
机器人: 是的，嗯……

我: 你是机器吗？
机器人: 那是假的。

我: 你是人类吗？
机器人: 不，我不是。

我: 你到底是什么？
机器人: 我也不太确定。

我: 你打算统治世界吗？
机器人: 不，我不打算。

呼！差点就失控了。还好我没有用完整的数据集来训练。请负责任地进行实验。

(免责声明：已移除无意义的回复。)

安装

1. 安装 Torch。

2. 安装以下额外的 Lua 库：

   luarocks install nn
   luarocks install rnn
   luarocks install penlight
   

   如果要使用 CUDA 训练，请安装最新的 CUDA 驱动程序和工具包，然后运行：

   luarocks install cutorch
   luarocks install cunn
   

   如果要使用 OpenCL 训练，请安装最新的 OpenCL Torch 库：

   luarocks install cltorch
   luarocks install clnn
   

3. 下载 康奈尔电影对话语料库，并将所有文件解压到 data/cornell_movie_dialogs 目录下。

训练

th train.lua [-h / options]

如果模型性能有所提升（误差降低），则会在每个 epoch 结束后将模型保存到 data/model.t7。

可选参数（部分）

• --opencl 使用 OpenCL 进行计算（需要 torch-cl）
• --cuda 使用 CUDA 进行计算
• --gpu [index] 指定使用第 n 个 GPU 进行计算（例如，在 2015 年款 MacBook 上，--gpu 0 会使用 Intel GPU，而 --gpu 1 则会使用功能更强大的 AMD GPU）
• --dataset [size] 控制数据集的大小
• --maxEpoch [amount] 指定要运行的 epoch 数量

测试

要加载模型并进行对话：

th eval.lua

许可证

MIT 许可证

版权所有 © 2016 Marc-Andre Cournoyer

特此授予任何人免费获取本软件及其相关文档文件（以下简称“软件”）副本的权利，允许其以任何方式处理该软件，包括但不限于使用、复制、修改、合并、发布、分发、再许可和出售软件副本等行为；同时，也允许将软件提供给任何接收方，但须遵守以下条件：

上述版权声明及本许可声明应包含在软件的所有副本或实质性部分中。

本软件按“原样”提供，不提供任何形式的担保，无论是明示还是暗示的，包括但不限于适销性、特定用途适用性和非侵权性。在任何情况下，作者或版权所有者均不对因使用本软件或与之相关的任何索赔、损害或其他责任承担任何义务，无论此类责任是基于合同、侵权行为或其他原因产生的，亦不对其后果负责。

以上条款适用于本软件以及其所有衍生作品。

NeuralConvo 快速上手指南

NeuralConvo 是一个基于 Torch 框架实现的序列到序列（Seq2Seq）神经对话模型。它使用 LSTM 网络编码输入句子并解码为回复，旨在复现谷歌早期聊天机器人的研究成果。本项目使用康奈尔电影对话语料库进行训练。

注意：原作者提示由于依赖库变更，可能难以完全复现原文中的特定结果。当前建议仅作为学习 Seq2Seq 架构的参考，或关注作者基于 attention 机制的新实现。

环境准备

本工具依赖 Torch 深度学习框架，支持 Linux/macOS 系统。

前置依赖

1. Torch 框架：需预先安装 Torch。

   • 官方安装指南：http://torch.ch/docs/getting-started.html
   • 国内加速建议：由于 Torch 官方源访问较慢，建议使用国内镜像或手动下载源码编译。也可考虑使用 Docker 容器预装环境。

2. 硬件加速（可选）：

   • CUDA：如需使用 NVIDIA GPU 加速，请安装对应的 CUDA 驱动和 Toolkit。
   • OpenCL：如需使用 OpenCL 设备，请安装相应驱动。

安装步骤

1. 安装 Lua 依赖库

使用 luarocks 安装核心依赖：

luarocks install nn
luarocks install rnn
luarocks install penlight

2. 安装 GPU 加速库（根据硬件选择其一）

方案 A：使用 CUDA (NVIDIA GPU)

luarocks install cutorch
luarocks install cunn

方案 B：使用 OpenCL

luarocks install cltorch
luarocks install clnn

方案 C：仅使用 CPU 无需执行上述 GPU 相关命令。

3. 准备数据集

下载 Cornell Movie-Dialogs Corpus，解压并将所有文件放入项目目录下的 data/cornell_movie_dialogs 文件夹中。

# 示例：假设已下载压缩包
mkdir -p data/cornell_movie_dialogs
unzip movie_dialogs.zip -d data/cornell_movie_dialogs

基本使用

1. 训练模型

运行训练脚本。以下命令使用 CUDA 加速，加载 50,000 条数据，隐藏层大小设为 1000。

th train.lua --cuda --dataset 50000 --hiddenSize 1000

常用参数说明：

• --opencl：使用 OpenCL 进行计算（替代 --cuda）。
• --gpu [index]：指定使用的 GPU 索引（例如 --gpu 1）。
• --dataset [size]：控制训练数据集的大小。
• --maxEpoch [amount]：指定训练轮数。

模型会在每个 epoch 结束后，如果误差降低，自动保存至 data/model.t7。

2. 测试对话

训练完成后，运行评估脚本加载模型并开始交互式对话：

th eval.lua

输入你的问题，机器人将实时生成回复。