PAWS：通过单词打乱生成释义对抗样本

***** 新增内容，2019年8月27日：支持六种语言的多语言PAWS *****

我们发布了PAWS-X，即支持六种语言的多语言版PAWS。更多详情请见 这里。

***** 新增内容结束 *****

该数据集包含108,463对人工标注的数据和656,000对噪声标注的数据，这些数据凸显了在释义识别问题中建模结构、上下文和词序信息的重要性。该数据集分为两个子集，一个基于维基百科，另一个基于 Quora问题对 (QQP)数据集。

欲了解更多细节，请参阅配套论文： PAWS：通过单词打乱生成释义对抗样本

背景与动机

现有的释义识别数据集缺乏词汇重叠度高但并非释义的句子对。基于此类数据训练的模型无法区分诸如“从纽约飞往佛罗里达的航班”和“从佛罗里达飞往纽约的航班”这样的句子对。

以下是数据集中两个示例：

	句子1	句子2	标签
(1)	尽管可互换，这两辆车的车身部件并不相似。	尽管相似，这两辆车的车身部件却不可互换。	0
(2)	卡茨1947年出生于瑞典，1岁时搬到纽约市。	卡茨1947年出生于瑞典，一岁时搬到纽约。	1

第一组句子语义不同，而第二组则是释义。基于现有数据集训练的最先进模型在PAWS上的表现非常糟糕（准确率低于40%）；然而，将PAWS训练数据纳入这些模型后，其准确率可提升至85%，同时还能保持在现有数据集如 Quora问题对上的表现。

PAWS-Wiki

该语料库包含从维基百科页面生成的句子对，可在此下载：

• PAWS-Wiki 标注版（最终版）： 包含通过单词交换和回译两种方法生成的句子对。所有句子对都经过人工判断，涵盖释义和流畅性两方面，并按训练/开发/测试划分。
• PAWS-Wiki 标注版（仅交换版）： 包含没有回译对应句的句子对，因此未包含在第一组中。不过，这些句子对质量很高，同样经过人工判断释义和流畅性，可作为辅助训练集使用。
• PAWS-Wiki 未标注版（最终版）： 该集合中的句子对带有噪声标签，无人工判断，也可用作辅助训练集。它们同样由单词交换和回译两种方法生成。

所有文件均为tsv格式，包含四列：

列名	数据
id	每对句子的唯一ID
sentence1	第一句
sentence2	第二句
(噪声_)label	（噪声）每对句子的标签

每个标签有两个可能值：0表示这对句子语义不同，1则表示这对句子是释义。

以下为各数据集的示例数量及释义（是%）的比例：

数据	训练	开发	测试	是%
标注版（最终版）	49,401	8,000	8,000	44.2%
标注版（仅交换版）	30,397	--	--	9.6%
未标注版（最终版）	645,652	10,000	--	50.0%

我们还发布了用于生成该数据集的原始句子及其映射关系。更多详情请见 这里。

PAWS-QQP

该语料库包含从 Quora问题对 语料库生成的句子对。由于QQP的许可协议，我们无法直接分发原始的PAWS-QQP数据，因此必须先下载原始数据，再运行我们的脚本生成数据并添加标签。

要重建PAWS-QQP语料库，首先下载原始的 Quora问题对数据集 并将tsv文件保存到某个位置 /path/to/original_qqp/data.tsv。然后从以下链接下载PAWS-QQP索引文件：

• PAWS-QQP 索引（最终版）

将其解压到某个目录 /path/to/paws_qqp/。运行以下命令生成语料库。

export ORIGINAL_QQP_FILE="/path/to/original_qqp/data.tsv"
export PAWS_QQP_DIR="/path/to/paws_qqp/"
export PAWS_QQP_OUTPUT_DIR="/path/to/paws_qqp/output/"

python qqp_generate_data.py \
  --original_qqp_input="${ORIGINAL_QQP_FILE}" \
  --paws_input="${PAWS_QQP_DIR}/train.tsv" \
  --paws_output="${PAWS_QQP_OUTPUT_DIR}/train.tsv"

python qqp_generate_data.py \
  --original_qqp_input="${ORIGINAL_QQP_FILE}" \
  --paws_input="${PAWS_QQP_DIR}/dev_and_test.tsv" \
  --paws_output="${PAWS_QQP_OUTPUT_DIR}/dev_and_test.tsv"

注意：此脚本需要NLTK，已在版本3.2.5上测试通过。

生成的tsv文件格式与PAWS-Wiki相同。所有句子对均经人工标注，以下为各数据集的示例数量及释义（是%）的比例：

数据	训练	开发和测试	是%
PAWS-QQP	11,988	677	31.3%

在我们的论文实验中，我们采用了来自Wang et al, 2017的原始QQP的训练/开发/测试划分。

PAWS-X

该语料库包含PAWS示例在六种类型迥异的语言中的翻译：法语、西班牙语、德语、中文、日语和韩语。更多详情请见 这里。

注意：进行多语言实验时，请使用PAWS-X仓库中提供的dev_2k.tsv作为所有语言的开发集，包括英语。

参考文献

如果您在工作中使用或讨论此数据集，请相应地引用以下论文：

@InProceedings{paws2019naacl,
  title = {{PAWS: 词语打乱生成的释义对抗样本}},
  author = {张源和、巴尔德里奇·杰森和何陆恒},
  booktitle = {NAACL会议论文集},
  year = {2019}
}

@InProceedings{pawsx2019emnlp,
  title = {{PAWS-X：用于释义识别的跨语言对抗数据集}},
  author = {杨银菲、张源和、塔尔·克里斯和巴尔德里奇·杰森},
  booktitle = {EMNLP会议论文集},
  year = {2019}
}

联系方式

如果您对数据集或相关出版物有任何技术问题，请在此仓库中创建一个问题。

PAWS 快速上手指南

环境准备

• 系统要求：Linux / macOS / Windows（推荐 Linux 环境）
• 前置依赖：
  • Python 3.6+
  • numpy, pandas
  • nltk（用于 PAWS-QQP 数据生成）
  • wget 或 curl（用于下载数据）

推荐使用国内镜像源加速下载：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pandas nltk

安装步骤

1. 克隆官方仓库（推荐使用 GitHub 镜像加速）：

git clone https://ghproxy.com/https://github.com/google-research-datasets/paws.git
cd paws

2. 安装必要依赖：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pandas nltk

3. 下载 PAWS-Wiki 数据（推荐使用国内镜像加速下载）：

wget https://storage.googleapis.com/paws/english/paws_wiki_labeled_final.tar.gz
tar -xzf paws_wiki_labeled_final.tar.gz

如遇下载缓慢，可使用 阿里云 OSS 镜像 或 清华 TUNA 镜像站 中转。

基本使用

1. 查看数据格式

PAWS 数据为 TSV 格式，包含四列：id, sentence1, sentence2, label（0=非同义，1=同义）

head -n 5 paws_wiki_labeled_final/train.tsv

2. 加载并简单使用（Python 示例）

import pandas as pd

# 加载数据
df = pd.read_csv('paws_wiki_labeled_final/train.tsv', sep='\t')

# 查看前几行
print(df.head())

# 统计同义句比例
print(f"同义句比例: {df['label'].mean():.2%}")

3. 生成 PAWS-QQP 数据（需原始 Quora 数据）

请先从 Quora Question Pairs 下载 data.tsv，并保存至 /path/to/original_qqp/data.tsv

# 下载 PAWS-QQP 索引文件
wget https://storage.googleapis.com/paws/english/paws_qqp.tar.gz
tar -xzf paws_qqp.tar.gz

# 设置路径
export ORIGINAL_QQP_FILE="/path/to/original_qqp/data.tsv"
export PAWS_QQP_DIR="/path/to/paws_qqp/"
export PAWS_QQP_OUTPUT_DIR="/path/to/paws_qqp/output/"

# 生成训练和验证数据
python qqp_generate_data.py \
  --original_qqp_input="${ORIGINAL_QQP_FILE}" \
  --paws_input="${PAWS_QQP_DIR}/train.tsv" \
  --paws_output="${PAWS_QQP_OUTPUT_DIR}/train.tsv"

python qqp_generate_data.py \
  --original_qqp_input="${ORIGINAL_QQP_FILE}" \
  --paws_input="${PAWS_QQP_DIR}/dev_and_test.tsv" \
  --paws_output="${PAWS_QQP_OUTPUT_DIR}/dev_and_test.tsv"

注意：qqp_generate_data.py 需要 NLTK，首次运行会自动下载语料，建议提前执行 python -c "import nltk; nltk.download('punkt')"。

4. 使用 PAWS-X 多语言数据（中文等）

下载多语言数据集：

git clone https://ghproxy.com/https://github.com/google-research-datasets/paws/tree/master/pawsx
cd pawsx
ls *.tsv  # 包含 zh (中文) 等语言版本

推荐使用 dev_2k.tsv 作为所有语言的开发集，包括英文。