NarrativeQA 阅读理解挑战数据集

本仓库包含 NarrativeQA 数据集。它包括带有维基百科摘要的文档列表、完整故事的链接，以及问题和答案。

有关此数据集的详细描述，请参阅论文《The NarrativeQA Reading Comprehension Challenge》（https://arxiv.org/abs/1712.07040）。如果您在工作中使用该语料库，请引用该论文。

文件说明

• documents.csv - 包含 document_id、set、kind、story_url、story_file_size、wiki_url、wiki_title、story_word_count、story_start、story_end。词数是在进行一些基本清理和分词后的大致估计。
• third_party/wikipedia/summaries.csv - 包含 document_id、set、summary、summary_tokenized。这些摘要来自维基百科。
• qaps.csv - 包含 document_id、set、question、answer1、answer2、question_tokenized、answer1_tokenized、answer2_tokenized。
• download_stories.sh - 用于下载故事的脚本。
• compare.sh - 用于比较下载的故事文件大小与我们所记录的文档大小。（截至发布时，所有故事的文件差异均小于3.5%（除一个外），这可能是由于标点符号编码的不同所致。）

Bibtex 引用

@article{narrativeqa,
author = {Tom\'a\v s Ko\v cisk\'y and Jonathan Schwarz and Phil Blunsom and
          Chris Dyer and Karl Moritz Hermann and G\'abor Melis and
          Edward Grefenstette},
title = {The {NarrativeQA} Reading Comprehension Challenge},
journal = {Transactions of the Association for Computational Linguistics},
url = {待定},
volume = {待定},
year = {2018},
pages = {待定},
}

数据集元数据

下表对于使该数据集被搜索引擎（如 Google Dataset Search）索引是必要的。

NarrativeQA 快速上手指南

NarrativeQA 是由 DeepMind 发布的阅读理解挑战数据集，包含基于真实故事（书籍和电影剧本）的维基百科摘要、完整故事链接以及相应的问答对。本指南将帮助你快速获取并了解该数据集的结构。

环境准备

本数据集主要为静态文件（CSV 格式和文本故事），无需复杂的深度学习框架即可开始探索。

• 操作系统：Linux / macOS / Windows (需安装 Git 和 Bash 环境)
• 前置依赖：
  • git：用于克隆仓库
  • wget 或 curl：用于下载故事文件（脚本默认使用 wget）
  • python3 (可选)：用于解析 CSV 数据
  • pandas (可选)：推荐安装，便于数据分析

  pip install pandas
  

安装步骤

1. 克隆仓库

首先，从 GitHub 克隆项目代码到本地：

git clone https://github.com/deepmind/narrativeqa.git
cd narrativeqa

2. 下载故事文件

数据集的核心是长篇故事文件。运行提供的脚本来下载这些文件（注意：文件较大，请确保网络稳定）：

chmod +x download_stories.sh
./download_stories.sh

提示：如果下载速度较慢，可手动编辑 download_stories.sh 或使用代理加速。下载完成后，建议运行校验脚本确认文件完整性：

chmod +x compare.sh
./compare.sh

基本使用

下载完成后，你将获得以下核心文件，可直接使用 Python (Pandas) 进行加载和分析。

数据结构说明

• documents.csv: 文档元数据（包含故事 URL、字数统计等）。
• third_party/wikipedia/summaries.csv: 对应的维基百科摘要。
• qaps.csv: 问题与答案对（包含原始文本和分词后的版本）。

最简单的使用示例

以下代码演示如何加载问题 - 答案对及其对应的文档摘要：

import pandas as pd

# 加载问题与答案数据
qaps = pd.read_csv('qaps.csv')

# 加载维基百科摘要数据
summaries = pd.read_csv('third_party/wikipedia/summaries.csv')

# 加载文档元数据
documents = pd.read_csv('documents.csv')

# 查看前 5 条问题数据
print("=== 问题示例 ===")
print(qaps[['question', 'answer1']].head())

# 关联数据：获取第一个问题对应故事的维基百科摘要
first_doc_id = qaps.iloc[0]['document_id']
summary_text = summaries[summaries['document_id'] == first_doc_id]['summary'].values[0]

print("\n=== 对应故事摘要 ===")
print(summary_text)

引用说明

如果在研究或工作中使用了此数据集，请务必引用原始论文：

• Paper: The NarrativeQA Reading Comprehension Challenge
• Bibtex: 参见项目根目录 README 中的 Bibtex 部分。