对话语料库

用于对话响应选择的大型语料库集合。

本仓库提供了创建可复现对话响应模型训练与评估数据集的工具，其中包括：

• Reddit - 37亿条评论，以线程式对话结构组织
• OpenSubtitles - 超过4亿行电影和电视字幕文本（提供英语及其他语言版本）
• Amazon QA - 超过360万条亚马逊商品相关的问答对

机器学习方法在处理此类大规模数据集时效果最佳。在 PolyAI，我们首先在海量对话数据上预训练对话响应模型，随后将这些模型适配到对话式 AI 的特定领域任务中。这种先在大规模数据上预训练、再进行领域适配的方法，在图像处理领域早已流行，如今也在自然语言处理社区迅速兴起。

我们并未直接提供原始处理后的数据，而是给出了用于自行生成数据的脚本和说明。这样您可以查看并可能调整预处理和过滤步骤。这些说明定义了标准的数据集，并采用确定性的训练/测试集划分方式，可用于在研究论文中进行可复现的评估。

数据集

每个数据集都有自己的目录，其中包含数据流脚本、运行说明以及单元测试。

| | | 训练集规模 | 测试集规模 | |-------------------------------- |------------------------------------- |---------------- |--------------- | | Reddit | 2015 - 2019 | 6.54亿 | 7,200万 | | OpenSubtitles | 英语（另有其他语言版本） | 2.86亿 | 3,300万 | | Amazon QA | - | 300万 | 30万 |

请注意，这些是经过过滤和其他处理后的数据集规模。例如，Reddit 数据集基于原始的37亿条评论数据库，但最终仅包含7.26亿个样本，因为脚本会过滤掉过长或过短的评论、无意义的评论（如“[已删除]”）以及没有回复的评论。

基准测试

各数据集的基准测试结果可在 BENCHMARKS.md 中找到。

对话语料库格式

本仓库包含用于创建标准格式数据集的脚本——任何符合此格式的数据集在其他地方都简称为 对话数据集。

数据集可以存储为：

• 每行一个样本的 JSON 文本文件
• 或者作为 TensorFlow 记录文件，其中包含序列化的 tensorflow example 协议缓冲区。

训练集和测试集分别存储为独立的集合。样本会在各个文件之间随机打乱顺序（不一定可复现）。然而，训练/测试集的划分始终是确定性的，因此无论何时生成数据集，都会得到相同的划分。

每个样本包含一段对话上下文及其对应的回复。例如：

{
  'context/1': "你好，最近怎么样？",
  'context/0': "我很好。你呢？",
  'context': "太好了。你觉得今天的天气如何？",
  'response': "感觉不像是二月份的天气。"
}

具体而言，每个样本包含若干字符串特征：

• context 特征：对话上下文中最新的文本
• response 特征：直接回应 context 的文本
• 若干 额外上下文特征，如 context/0、context/1 等，按时间倒序排列。这样命名是为了让 context/i 总是指第 i 个最近的额外上下文，从而无需填充，也便于混合不同长度上下文的数据集。

根据数据集的不同，每个样本还可能包含一些额外的特征。例如，在 Reddit 数据集中，上下文和回复的作者信息会通过附加特征来标识。

阅读对话数据集

JSON 格式

在 TensorFlow 之外使用时，JSON 格式可能更为方便。要获取 JSON 格式的数据集，可以在数据集的 create_data.py 脚本中使用 --dataset_format JSON 参数。每行将包含一个单独的 JSON 对象。

以下是读取 JSON 格式数据集的一些示例 Python 代码。

import json
from glob import glob


for file_name in glob("dataset/train/*.json"):
    for line in open(file_name):
        example = json.loads(line)
        # 现在可以访问：
        #   example['context']
        #   example['response']
        #   example['context/0'] 等。

TensorFlow 格式

tools/tfrutil.py 和 baselines/run_baseline.py 脚本展示了如何使用 TensorFlow 库中的函数，在 Python 中读取 TensorFlow 示例格式的对话数据集。

您可以使用 tools/tfrutil.py 来计算 TensorFlow 记录文件中的样本数量：

$ python tools/tfrutil.py size data/reddit-test
726158

它也可以用来以可读格式显示这些样本：

$ python tools/tfrutil.py pp data/reddit-test

Example 0
--------
[Context]:
	飞机？那是什么？
[Response]:
	《空前绝后》！这部电影是对飞行题材电影的精彩恶搞，听起来很糟糕，但实际上满分10分！

Extra Contexts:
	[context/2]:
		不幸的是，他们晚餐都吃了鱼。
	[context/1]:
		这是某种梗吗？我不明白。
	[context/0]:
		《空前绝后》。放下手头的一切，现在就看吧！

Other features:
	[context_author]:
		Doctor_Insano_MD
	[response_author]:
		ThegreatandpowerfulR
	[subreddit]:
		todayilearned
	[thread_id]:
		41ar0l
--------
...

以下是将对话数据集读入 TensorFlow 图形的一些示例 TensorFlow 代码：

num_extra_contexts = 10
batch_size = 100
pattern = "gs://your-bucket/dataset/train-*.tfrecord"

if not tf.gfile.Glob(pattern):
    raise ValueError("No files matched pattern " + pattern)

dataset = tf.data.Dataset.list_files(pattern)
dataset = dataset.apply(
    tf.contrib.data.parallel_interleave(
        lambda file: tf.data.TFRecordDataset(file),
        cycle_length=8))
dataset = dataset.apply(
    tf.data.experimental.shuffle_and_repeat(
        buffer_size=8 * batch_size))
dataset = dataset.batch(batch_size)

def _parse_function(serialized_examples):
    parse_spec = {
        "context": tf.FixedLenFeature([], tf.string),
        "response": tf.FixedLenFeature([], tf.string)
    }
    parse_spec.update({
        "context/{}".format(i): tf.FixedLenFeature(
            [], tf.string, default_value="")
        for i in range(num_extra_contexts)
    })
    return tf.parse_example(serialized_examples, parse_spec)

dataset = dataset.map(_parse_function, num_parallel_calls=8)
dataset = dataset.prefetch(8)
iterator = dataset.make_one_shot_iterator()
tensor_dict = iterator.get_next()

# 现在 TensorFlow 图形可以访问
# tensor_dict["context"]、tensor_dict["response"] 等，
# 它们是以字符串特征（Unicode 字节）形式呈现的批次数据。

入门指南

对话数据集是通过 Apache Beam 流水线 脚本创建的，并在 Google Dataflow 上运行。这会将数据处理流水线并行化到许多工作机器上。Apache Beam 需要 Python 2.7，因此您需要设置一个 Python 2.7 的虚拟环境：

python2.7 -m virtualenv venv
. venv/bin/activate
pip install -r requirements.txt

Dataflow 脚本会将对话数据集写入 Google 云存储，因此您需要先 创建一个存储桶 来保存数据集。

Dataflow 会在多个 Compute Engine 实例上运行工作节点，所以请确保您有足够的 n1-standard-1 机器配额（配额信息）。各个数据集的 README 文件会说明需要多少个工作节点，以及每个 Dataflow 作业大概需要多长时间。

最后，您还需要通过创建具有 Dataflow 和 Cloud Storage 访问权限的服务账号来 设置身份验证，并设置 GOOGLE_APPLICATION_CREDENTIALS：

export GOOGLE_APPLICATION_CREDENTIALS={{json 文件密钥位置}}

这样应该足以按照每个数据集的创建说明进行操作。

评估

当然，您可以以任何您喜欢的方式评估您的模型。不过，在发表结果时，我们鼓励您同时报告“1/100 排名准确率”，这一指标正逐渐成为研究界的通用标准。

“1/100 排名准确率”是一种 Recall@k 指标。一般来说，Recall@k 是指针对给定的对话上下文，提供 N 个回复，其中只有一个回复是相关的。该指标用于判断相关回复是否出现在前 k 名候选回复中。当 k=1 且 N=100 时，就得到了“1/100”指标。也就是说，对于每一个查询，我们会判断正确的回复是否位于 100 个候选回复中的第一名。最终得分则是所有查询的平均值。

“1/100”指标是通过随机抽取 100 个样本批次来计算的，批次中的其他回复则被用作随机的负样本。这种方法能够高效地对大量样本进行分批计算。尽管无法保证这些随机负样本一定是真正的“负样本”，但“1/100”指标仍然提供了一个有用的评估信号，与下游任务有较好的相关性。

以下 TensorFlow 代码展示了如何为一种点积风格的编码器模型计算该指标，其中每个上下文和回复的得分都是对应向量之间的点积：

# 使用 TensorFlow 操作将上下文和回复编码为向量。

# 下面两者都是 [100, encoding_size] 的矩阵。
context_encodings = _encode_contexts(tensor_dict['context'])
response_encodings = _encode_responses(tensor_dict['response'])

scores = tf.matmul(
  context_encodings, response_encodings,
  transpose_b=True)  # 一个 [100, 100] 的矩阵。

batch_size = tf.shape(context_encodings)[0]

accuracy_1_of_100 = tf.metrics.accuracy(
  labels=tf.range(batch_size),
  predictions=tf.argmax(scores, 1)
)

另请参阅 baselines，其中包含计算 1-of-100 指标的示例代码。

许多研究已在基于检索的对话系统中使用了 Recall@k，其中包括以下论文：

• Ubuntu 对话语料库：用于非结构化多轮对话系统研究的大规模数据集，Lowe 等人，SIGDIAL 2015。

• 面向会话式对话系统的神经话语排序模型，Inaba 和 Takahashi，SIGDIAL 2016。

• 非任务导向型会话系统的策略与政策学习，Yu 等人，SIGDIAL 2016。

• 利用 Ubuntu 对话语料库训练端到端对话系统，Lowe 等人，Dialogue and Discourse 2017。

• 序列匹配网络：基于检索的聊天机器人中多轮响应选择的新架构，Wu 等人，ACL 2017。

• 通过融入领域知识改进多轮对话系统中的响应选择，Chaudhuri 等人，CoNLL 2018。

• 针对神经在线聊天响应选择的数据增强，Du 和 Black，SCAI 2018。

• 用于神经会话模型在线响应选择的定制非线性赌盘算法，Liu 等人，AAAI 2018。

• DSTC7 任务 1：基于直觉的端到端响应选择，Gunasekara 等人，2019 年。

• 基于检索的聊天机器人中多轮响应选择的多表示融合网络，Tao 等人，WSDM 2019。

• 具有深度注意力匹配网络的聊天机器人多轮响应选择，Zhou 等人，ACL 2018。

以下论文特别使用了 1-of-100 排名准确率：

• 会话上下文线索：个性化和历史记录在响应排名中的作用，Al-Rfou 等人，arXiv 预印本 2016 年。

• 智能回复中高效的自然语言回复建议，Henderson 等人，arXiv 预印本 2017 年。

• 用户对用户交易平台对话中的问答选择，Kumar 等人，IWSDS 2018。

• 通用句子编码器，Cer 等人，arXiv 预印本 2018 年。

• 从会话中学习语义文本相似度，Yang 等人，2018 年 NLP 表征学习研讨会。

引用

在您的工作中使用这些数据集时，请引用我们的论文《会话数据集仓库》（A Repository of Conversational Datasets）：

@inproceedings{Henderson2019,
    author      = {Matthew Henderson and Pawe{\l} Budzianowski and I{\~{n}}igo Casanueva and Sam Coope and Daniela Gerz and Girish Kumar and Nikola Mrk{\v{s}}i\'c and Georgios Spithourakis and Pei-Hao Su and Ivan Vulic and Tsung-Hsien Wen},
    title       = {A Repository of Conversational Datasets},
    year        = {2019},
    month       = {jul},
    note        = {数据可在 github.com/PolyAI-LDN/conversational-datasets 上获取},
    url         = {https://arxiv.org/abs/1904.06472},
    booktitle   = {会话式 AI 的 NLP 工作坊论文集},
}

贡献

我们非常欢迎以拉取请求形式的贡献。 每个拉取请求都会在 CircleCI 中进行测试——首先使用 flake8 进行代码风格检查，然后运行单元测试。我们尤其感兴趣的是：

• 新的数据集
• 对脚本的调整，使其在您的环境中更好地运行（例如其他 Apache Beam 运行器、其他云存储解决方案、其他示例格式）
• 您的方法在基准测试中的结果 基准测试页面。
• 新基线的代码以及现有基线的改进

conversational-datasets 快速上手指南

conversational-datasets 是一个用于构建大规模对话响应选择数据集的工具库，包含 Reddit、OpenSubtitles 和 Amazon QA 等知名数据集的生成脚本。本项目不直接提供处理后的数据文件，而是提供基于 Apache Beam 的流水线脚本，让用户在 Google Cloud Dataflow 上自行生成可复现的标准格式数据集。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统: Linux 或 macOS (推荐)
• Python 版本: 必须使用 Python 2.7 (Apache Beam 旧版本要求)
• 云平台: Google Cloud Platform (GCP) 账号
  • 已启用 Dataflow API 和 Cloud Storage API
  • 拥有足够的 n1-standard-1 机器配额（用于运行并行处理任务）
• 命令行工具:
  • virtualenv
  • gcloud CLI (可选，用于管理 GCP 资源)

安装步骤

1. 创建 Python 2.7 虚拟环境

由于核心脚本依赖 Python 2.7，请先创建并激活独立的虚拟环境：

python2.7 -m virtualenv venv
source venv/bin/activate

2. 安装依赖包

安装项目所需的 Python 库：

pip install -r requirements.txt

3. 配置 Google Cloud 认证

脚本需要将生成的数据集写入 Google Cloud Storage (GCS)，因此需要配置服务账号认证：

1. 在 GCP 控制台创建一个具有 Dataflow 和 Storage Admin 权限的服务账号。
2. 下载该账号的 JSON 密钥文件。
3. 设置环境变量指向该密钥文件：

export GOOGLE_APPLICATION_CREDENTIALS=/path/to/your-service-account-key.json

4. 准备存储桶

在 Google Cloud Storage 中创建一个存储桶（Bucket），用于存放生成的数据集文件：

# 示例：创建一个名为 my-conversational-data 的存储桶
gsutil mb gs://my-conversational-data

基本使用

本工具通过运行特定的 create_data.py 脚本来生成数据集。以下以生成 Reddit 数据集为例，展示最简使用流程。其他数据集（如 opensubtitles, amazon_qa）用法类似，请参考对应目录下的 README。

1. 进入数据集目录

cd reddit

2. 运行数据生成脚本

使用 Apache Beam 直接在 Google Dataflow 上运行管道。你需要指定项目 ID、临时存储位置以及输出路径。

python create_data.py \
  --project YOUR_GCP_PROJECT_ID \
  --runner DataflowRunner \
  --temp_location gs://my-conversational-data/temp \
  --output gs://my-conversational-data/reddit-output \
  --dataset_format JSON

• --project: 你的 GCP 项目 ID。
• --runner DataflowRunner: 指示在云端分布式运行（本地测试可用 DirectRunner，但大数据集不建议）。
• --temp_location: GCS 路径，用于存放临时文件。
• --output: GCS 路径，生成后的数据集将保存于此。
• --dataset_format JSON: 指定输出格式为 JSON（每行一个 JSON 对象），便于非 TensorFlow 环境使用；也可选 tfrecord。

3. 读取生成的数据

方式 A：读取 JSON 格式 (通用)

如果选择了 JSON 格式，可以使用标准 Python 代码读取：

import json
from glob import glob

# 假设数据已下载到本地或挂载
for file_name in glob("dataset/train/*.json"):
    for line in open(file_name):
        example = json.loads(line)
        # 访问上下文和响应
        print(example['context'])
        print(example['response'])
        # 访问额外的历史上下文 (context/0, context/1...)
        if 'context/0' in example:
            print(example['context/0'])

方式 B：读取 TensorFlow Record 格式

如果选择了默认的 tfrecord 格式，可使用 TensorFlow 数据管道读取：

import tensorflow as tf

num_extra_contexts = 10
batch_size = 100
pattern = "gs://my-conversational-data/reddit-output/train-*.tfrecord"

dataset = tf.data.Dataset.list_files(pattern)
dataset = dataset.apply(
    tf.contrib.data.parallel_interleave(
        lambda file: tf.data.TFRecordDataset(file),
        cycle_length=8))
dataset = dataset.apply(
    tf.data.experimental.shuffle_and_repeat(
        buffer_size=8 * batch_size))
dataset = dataset.batch(batch_size)

def _parse_function(serialized_examples):
    parse_spec = {
        "context": tf.FixedLenFeature([], tf.string),
        "response": tf.FixedLenFeature([], tf.string)
    }
    parse_spec.update({
        "context/{}".format(i): tf.FixedLenFeature(
            [], tf.string, default_value="")
        for i in range(num_extra_contexts)
    })
    return tf.parse_example(serialized_examples, parse_spec)

dataset = dataset.map(_parse_function, num_parallel_calls=8)
iterator = dataset.make_one_shot_iterator()
tensor_dict = iterator.get_next()

# tensor_dict["context"] 和 tensor_dict["response"] 现在可用于模型训练

4. 验证数据

你可以使用提供的工具脚本检查生成的 TFRecord 文件大小或预览内容：

# 查看示例数量
python tools/tfrutil.py size gs://my-conversational-data/reddit-output/test

# 打印可读格式的样本
python tools/tfrutil.py pp gs://my-conversational-data/reddit-output/test