模式引导对话数据集

联系邮箱 - schema-guided-dst@google.com

概述

模式引导对话（SGD） 数据集包含超过2万条由人类与虚拟助手之间进行的多领域、任务导向型对话标注数据。这些对话涉及20个领域的服务和API交互，例如银行、活动、媒体、日历、旅行和天气等。对于大多数领域，该数据集包含了多个不同的API，其中许多API的功能有所重叠但接口各异，这反映了现实世界中的常见场景。丰富的标注信息可用于意图预测、槽位填充、对话状态跟踪、策略模仿学习、语言生成以及用户模拟学习等多种任务，以支持大规模虚拟助手的开发。此外，数据集中还包含未见领域和服务的评估集，用于衡量零样本或少样本设置下的性能。

模式引导对话扩展版（SGD-X） 是一个用于评估对话系统在模式语言变体方面鲁棒性的基准。SGD-X通过为每个模式添加5种众包生成的变体来扩展SGD数据集，这些变体语义相似但风格多样。基于SGD训练的模型将在SGD-X上进行评估，以衡量其在真实环境中面对多种语言风格时的泛化能力。

本数据集按“原样”提供，不提供任何明示或暗示的担保。谷歌对因使用本数据集而导致的任何直接或间接损害概不负责。

更新

2021年10月19日 - 发布了用于衡量模式语言变体鲁棒性的SGD-X模式，并附带了一个根据新模式转换对话标注的脚本。

2020年7月5日 - 发布了测试集标注。所有对话中用户的操作及服务调用记录也一并公开。

2019年10月14日 - DSTC8挑战赛圆满结束。有关参赛作品的详细信息可在DSTC8综述论文中找到。

2019年10月7日 - 发布了不含对话状态标注的测试数据集。

2019年7月23日 - 训练集和验证集作为DSTC8挑战赛的一部分公开发布。

重要链接

• 论文 - SGD数据集及DST基线
• 论文 - DSTC8综述
• 论文 - SGD-X
• 论文 - 模板引导文本生成
• 代码 - DST基线
• 博客 - SGD数据集

数据

SGD数据集由描述不同API接口的模式以及标注好的对话组成。这些对话是在对话模拟器和付费众包工作者的帮助下生成的。数据收集方法已在该论文中进行了总结。

SGD-X数据集则包含原始SGD数据集中每个模式的5种语言变体。这些语言变体由数百名付费众包工作者撰写。在SGD-X目录中，v1代表与原始模式最接近的变体，而v5则是语言距离最远的变体。为了在SGD-X模式上评估模型性能，必须使用脚本generate_sgdx_dialogues.py对对话进行转换。

模式表示

服务或API本质上是一组函数（称为意图），每项函数都接受一组参数（称为槽位）。模式是对服务/API所暴露接口的一种规范化表示。此外，模式还包括对所包含函数及其参数的自然语言描述，以阐明每个元素的语义。SGD模式由数据集创建者手动编制，而SGD-X模式的变体则是通过让众包工作者改写原始模式生成的。每个模式以JSON对象的形式呈现，包含以下字段：

• service_name* - 服务的唯一名称。
• description - 对该服务支持的任务的自然语言描述。
• slots - 与服务中实体相对应的槽位/属性列表。每个槽位包含以下字段：
  • name - 槽位的名称。
  • description - 槽位的自然语言描述。
  • is_categorical - 布尔值。若为真，则该槽位具有固定的取值范围。
  • possible_values - 槽位可能取到的所有值的列表。如果槽位是分类型的，此列表将列出所有可能的取值；若非分类型，则要么为空，要么仅包含少量可能的取值。
• intents - 服务支持的意图/任务列表。每个意图包含以下字段：
  • name - 意图的名称。
  • description - 意图的自然语言描述。
  • is_transactional - 布尔值。若为真，则底层的API调用属于事务性操作（如预订或购买），而非查询类调用。
  • required_slots - 在执行API调用前必须提供的槽位名称列表。
  • optional_slots - 一个字典，将槽位名称与其默认值对应起来。这些槽位由用户可选指定，且用户可以覆盖默认值。若默认值为空，则该槽位可接受任意值。
  • result_slots - 服务或API调用返回结果中包含的槽位名称列表。

*服务名称采用“<领域名>_<数字>”的形式（如Banks_2）。数字用于区分同一领域的不同服务。SGD-X变体模式的编号为两位数，其中第一位数字沿用自原始模式，第二位数字则表示SGD-X变体序号。例如，Banks_2的v1变体即为Banks_21。

对话表示

对话以一系列轮次表示，每一轮次包含用户或系统的发言。每轮的标注被分组为框架，每个框架对应一项服务。单领域数据集中，每轮恰好包含一个框架。而在多领域数据集中，某些轮次可能包含多个框架。

每条对话以JSON对象的形式呈现，包含以下字段：

• dialogue_id - 对话的唯一标识符。
• services - 对话中涉及的服务列表。
• turns - 系统或用户发言的标注列表。

每一轮次包含以下字段：

• speaker - 当前轮次的发言者。可能的值为“USER”或 “SYSTEM”。
• utterance - 包含自然语言话语的字符串。
• frames - 框架列表，其中每个框架包含针对单个服务的注释。

每个框架由以下字段组成：

• service - 与该框架对应的服务名称。以下字段中使用的槽位和意图均来自该服务的模式。
• slots - 话语中槽位跨度的列表，仅提供非分类槽位。每个槽位跨度包含以下字段：
  • slot - 槽位名称。
  • start - 话语中与槽位值对应的起始字符索引。
  • exclusive_end - 话语中与槽位值对应的最后一个字符之后的字符索引。在 Python 中，utterance[start:exclusive_end] 即为槽位值。
• actions - 与系统对应的动作列表。每个动作包含以下字段：
  • act - 动作类型。所有可能的系统动作列表如下所示。
  • slot（可选）- 部分动作的槽位参数。
  • values（可选）- 分配给该槽位的一组值。如果 values 列表非空，则该槽位必须存在。
  • canonical_values（可选）- 以服务所用规范形式表示的值。它是一个与 values 长度相同的字符串列表。
• service_call（仅限系统轮次，可选）- 发送到服务的请求。它由以下字段组成：
  • method - 正在执行的服务或 API 的意图或函数名称。
  • parameters - 一个字典，将槽位名称（所有必填槽位及可能的一些可选槽位）映射到其规范化形式的值。
• service_results（仅限系统轮次，可选）- 包含从服务获得的结果的实体列表。仅在进行了服务调用的轮次中才可用。每个实体以一个字典表示，将槽位名称映射到包含其规范化值的字符串。
• state（仅限用户轮次）- 与服务相对应的对话状态。它由以下字段组成：
  • active_intent - 当前由系统正在完成的框架所对应服务的意图。如果没有活动意图，则取值为“NONE”。
  • requested_slots - 当前轮次中用户请求的槽位列表。
  • slot_values - 一个字典，将槽位名称映射到字符串列表。对于分类槽位，此列表只包含分配给该槽位的一个值。对于非分类槽位，此列表中的所有值都是彼此的口语变体且等效（例如，“下午6点”、“晚上六点”、“6点的晚上”等）。

可能的系统动作列表：

• INFORM - 向用户告知某个槽位的值。相应动作中的 slot 和 values 字段始终非空。
• REQUEST - 向用户请求某个槽位的值。相应动作始终包含一个 slot，但 values 是可选的。当 values 存在时，它们会被用作用户的示例，例如：“您想吃印度菜、中餐还是其他？”
• CONFIRM - 在进行事务性服务调用之前确认某个槽位的值。
• OFFER - 向用户提供某个槽位的特定值。相应动作始终包含一个 slot 和一组向用户提供的该槽位的值。
• NOTIFY_SUCCESS - 告知用户其请求已成功。相应动作中的 slot 和 values 始终为空。
• NOTIFY_FAILURE - 告知用户其请求失败。相应动作中的 slot 和 values 始终为空。
• INFORM_COUNT - 告知用户找到的符合其请求的项目数量。相应动作始终以“count”作为 slot，并在 values 中包含一个元素，表示系统获得的结果数量。
• OFFER_INTENT - 向用户提供一个新的意图。例如：“您是否要预订一张桌子？”相应动作始终以“intent”作为 slot，并包含一个值，即所提供的意图。所提供的意图属于该框架对应的服务。
• REQ_MORE - 询问用户是否还需要其他内容。相应动作中的 slot 和 values 始终为空。
• GOODBYE - 结束对话。相应动作中的 slot 和 values 始终为空。

可能的用户动作列表：

• INFORM_INTENT - 向系统表达希望执行某项任务的愿望。该动作始终以“intent”作为 slot，并包含一个值，即所告知的意图。
• NEGATE_INTENT - 拒绝系统所提供的意图。
• AFFIRM_INTENT - 同意系统所提供的意图。
• INFORM - 向系统告知某个槽位的值。相应动作中的 slot 和 values 字段始终非空。
• REQUEST - 向系统请求某个槽位的值。相应动作始终包含一个 slot 参数。它也可能包含一个 value，此时用户会询问系统该槽位是否具有指定的值。
• AFFIRM - 同意系统的提议。slot 和 values 始终为空。
• NEGATE - 拒绝系统的提议。slot 和 values 始终为空。
• SELECT - 选择系统提供的结果。相应动作可能不包含任何参数，此时用户接受系统提出的所有值；也可能包含 slot 和 value 参数，此时用户接受指定的槽位和值。
• REQUEST_ALTS - 请求系统提供更多结果之外的其他选项。slot 和 values 始终为空。
• THANK_YOU - 感谢系统。slot 和 values 始终为空。
• GOODBYE - 结束对话。slot 和 values 始终为空。

许可证

SGD 和 SGD-X 数据集根据 CC BY-SA 4.0 许可证发布。完整的许可证内容请参阅 LICENSE.txt。如果您在工作中使用这些数据集，请引用以下论文：

SGD

@inproceedings{rastogi2020towards,
  title={迈向可扩展的多领域对话系统：基于模式引导的对话数据集},
  author={Rastogi, Abhinav and Zang, Xiaoxue and Sunkara, Srinivas and Gupta, Raghav and Khaitan, Pranav},
  booktitle={AAAI人工智能会议论文集},
  volume={34},
  number={05},
  pages={8689--8696},
  year={2020}
}

SGD-X

@inproceedings{lee2022sgd,
  title={SGD-X：面向模式引导对话系统的鲁棒泛化基准},
  author={Lee, Harrison and Gupta, Raghav and Rastogi, Abhinav and Cao, Yuan and Zhang, Bin and Wu, Yonghui},
  booktitle={AAAI人工智能会议论文集},
  volume={36},
  number={10},
  pages={10938--10946},
  year={2022}
}

数据集元数据

下表对于使该数据集被搜索引擎（如 Google 数据集搜索）索引是必要的。

dstc8-schema-guided-dialogue 快速上手指南

环境准备

本数据集主要用于对话状态追踪（DST）、意图识别及多轮对话系统研究。开始前请确保满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux 环境)
• Python 版本：Python 3.6 或更高版本
• 前置依赖：
  • git：用于克隆代码库
  • python3：运行数据处理脚本
  • 常用数据科学库（可选，用于后续模型训练）：tensorflow, pytorch, numpy, json

注意：本项目主要提供数据集（JSON 格式）和处理脚本，无需安装复杂的 Python 包即可浏览数据。若需运行官方基线模型，请参考 DST baseline code。

安装步骤

由于该工具核心为数据集，"安装"过程主要为获取数据仓库和源代码。

1. 克隆官方代码库 使用 git 克隆包含数据集定义、处理脚本及基线模型的仓库：

   git clone https://github.com/google-research/google-research.git
   cd google-research/schema_guided_dst
   

2. 下载数据集 数据集文件较大，通常托管在 Google Cloud Storage。您可以使用 gsutil 下载，或直接通过浏览器访问链接下载。

   方法 A：使用 gsutil (需安装 Google Cloud SDK)

   gsutil -m cp -r gs://dstc8-schema-guided-dialogue/data ./data
   

   方法 B：手动下载 访问 Google Research SGD Dataset 页面 或相关存储链接下载 train, dev, test 及 schema 文件夹，并解压至项目目录。

3. 准备 SGD-X 扩展数据（可选） 如果需要测试模型对语言变体的鲁棒性（SGD-X），请下载对应的变体 Schema 并使用提供的脚本转换对话数据：

   # 假设已下载 sgdx 数据到 ./sgdx_data
   python generate_sgdx_dialogues.py --dialogue_dir ./data/train --schema_dir ./sgdx_data --output_dir ./data/train_sgdx
   

基本使用

数据集由 Schema（模式） 和 Dialogue（对话） 两部分组成，均为 JSON 格式。

1. 数据结构概览

• Schema 文件 (schema.json)：定义服务接口，包含服务名称、意图（intents）、槽位（slots）及其自然语言描述。
• 对话文件 (dialogues.json)：包含多轮对话记录，每一轮（turn）标注了用户/系统话语、当前对话状态（state）、执行的动作（actions）及服务调用（service_call）。

2. 读取数据示例

以下是一个简单的 Python 脚本，演示如何加载并解析训练集中的第一个对话样本：

import json
import os

# 配置路径
data_dir = "./data/train"
schema_file = os.path.join(data_dir, "schema.json")
dialogue_file = os.path.join(data_dir, "dialogues_001.json") # 文件名可能因分片而异

# 1. 加载 Schema
with open(schema_file, "r", encoding="utf-8") as f:
    schemas = json.load(f)
    
# 构建服务名到 Schema 的映射，方便查找
service_to_schema = {s["service_name"]: s for s in schemas}

print(f"加载了 {len(schemas)} 个服务定义")
print(f"示例服务：{schemas[0]['service_name']} - {schemas[0]['description']}")

# 2. 加载对话数据
with open(dialogue_file, "r", encoding="utf-8") as f:
    dialogues = json.load(f)

# 获取第一个对话
sample_dialogue = dialogues[0]

print("\n--- 对话示例 ---")
print(f"对话 ID: {sample_dialogue['dialogue_id']}")
print(f"涉及服务：{sample_dialogue['services']}")

# 遍历前两轮对话
for turn in sample_dialogue['turns'][:2]:
    speaker = turn['speaker']
    utterance = turn['utterance']
    print(f"\n[{speaker}]: {utterance}")
    
    # 打印当前轮的对话状态 (仅用户轮次包含完整 state)
    if 'state' in turn['frames'][0]:
        state = turn['frames'][0]['state']
        print(f"  -> 当前意图：{state['active_intent']}")
        if state['slot_values']:
            print(f"  -> 槽位填充：{state['slot_values']}")

3. 关键字段说明

在处理数据时，请重点关注以下字段：

• service_name: 唯一标识符，格式为 <域名>_<编号> (例如 Banks_2)。
• intents: 服务支持的任务列表（如 book_appointment, search_bank）。
• slots: 任务所需的参数（如 time, location, bank_name）。
  • is_categorical: 布尔值，表示该槽位是否为枚举类型。
• state.slot_values: 对话状态的核心价值观，记录了用户已提供的槽位值。
• actions: 系统或用户执行的动作（如 INFORM, REQUEST, OFFER），用于策略学习。

通过以上步骤，您即可将 SGD 数据集集成到您的对话系统训练流程中，用于开发大规模虚拟助手或进行零样本/少样本学习研究。