豆瓣对话语料库

数据集

我们发布了豆瓣对话语料库，包含用于基于检索的聊天机器人训练的数据集、开发集和测试集。豆瓣对话语料库的统计信息如下表所示。

	训练集	验证集	测试集
会话-回复对数	100万	5万	1万
每个会话的平均正向回复数	1	1	1.18
Fless Kappa	不适用	不适用	0.41
每个会话的最少轮次	3	3	3
每个会话的最大轮次	98	91	45
每个会话的平均轮次	6.69	6.75	5.95
每条话语的平均词数	18.56	18.50	20.74

测试数据包含1000个对话上下文，针对每个上下文我们生成了10个候选回复。我们招募了三位标注员来判断某个候选回复是否适合作为该会话的回应。所谓“合适的回应”，是指在给定上下文的情况下，该回复能够自然地对消息作出回应。每一对对话都会收到三份标注，最终以多数票决定作为最终结果。

据我们所知，这是首个由人工标注的基于检索的聊天机器人测试集。整个语料库的下载链接为：https://www.dropbox.com/s/90t0qtji9ow20ca/DoubanConversaionCorpus.zip?dl=0

数据模板

标签 \t 对话语句（以\t分隔） \t 回复

源代码

我们还发布了源代码，以帮助他人复现我们的实验结果。该代码已在Ubuntu 14.04系统上使用Python 2.7进行了测试。

请首先运行preprocess.py脚本，并根据实际情况修改路径，运行后会生成一个.bin文件。随后，请使用生成的.bin文件运行SMN_Last.py脚本，训练过程中的损失值将会显示在屏幕上。如果将train_flag设置为False，则会输出使用您的模型预测得到的分数。

一些提示：

200维的词嵌入可以在以下链接共享：https://1drv.ms/u/s!AtcxwlQuQjw1jF0bjeaKHEUNwitA 。共享文件包含三个元素，其中之一是一个word2vec格式的文件。请下载该文件，并替换我脚本中输入路径（训练数据）的位置。

TensorFlow相关资源：

TensorFlow代码需要若干数据集，这些数据集已上传至以下路径：

资源文件：https://1drv.ms/u/s!AtcxwlQuQjw1jGn5kPzsH03lnG6U

词汇字典文件：https://1drv.ms/u/s!AtcxwlQuQjw1jGrCjg8liK1wE-N9

要求：tensorflow>=1.3

参考文献

如果您在本仓库中使用了数据或代码，请引用我们的论文。

Wu, Yu, et al. “序列匹配网络：一种用于基于检索的聊天机器人多轮回复选择的新架构。” ACL. 2017.

MultiTurnResponseSelection 快速上手指南

本指南基于豆瓣对话语料库（Douban Conversation Corpus）及 Sequential Matching Network (SMN) 模型，帮助开发者快速复现多轮对话响应选择任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Ubuntu 14.04 或更高版本（已在该环境测试通过）
• Python 版本：Python 2.7
• 核心依赖：TensorFlow >= 1.3
• 数据资源：需手动下载预训练词向量及字典文件（见下文安装步骤）

安装步骤

1. 获取源代码与数据

克隆或下载本项目源代码。随后，请下载以下必需的资源文件：

• 数据集：Douban Conversation Corpus
• 200 维词向量 (Word Embedding)：下载链接
  • 注意：下载后解压，找到其中的 word2vec 文件。
• TensorFlow 资源文件：Resource file
• 词典文件 (Worddict)：Worddict file

提示：由于原始资源托管于 Dropbox 和 OneDrive，国内访问可能较慢。建议使用代理工具加速下载，或寻找社区提供的国内镜像源。

2. 配置路径

下载完成后，您需要修改源代码中的文件路径以指向本地文件位置。

打开 preprocess.py，找到输入数据路径部分，将其修改为您存放训练数据和词向量文件的实际路径。

3. 安装 Python 依赖

确保已安装 TensorFlow 1.3 及以上版本：

pip install tensorflow>=1.3

基本使用

完成环境配置后，按照以下两个步骤运行模型：

第一步：数据预处理

运行预处理脚本生成二进制数据文件 (.bin)。

python preprocess.py

执行成功后，当前目录下将生成处理好的 .bin 文件。

第二步：训练或预测

使用生成的 .bin 文件运行主程序 SMN_Last.py。

场景 A：开始训练模型 直接运行脚本，屏幕将打印训练损失 (Training Loss)。

python SMN_Last.py

场景 B：使用模型进行预测 若需使用已有模型进行评分预测，请在代码中将 train_flag 参数设置为 False，然后运行：

# 需先编辑 SMN_Last.py，设置 train_flag = False
python SMN_Last.py

运行后将输出模型对候选响应的预测分数。

---

引用说明：如果您在研究中使用了本项目的数据或代码，请务必引用以下论文：

Wu, Yu, et al. "Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots." ACL. 2017.