快速抽象摘要-RL

此仓库包含我们2018年ACL论文的代码：

使用强化学习选择性重写句子实现快速抽象摘要。

您可以：

1. 查看生成的摘要并评估ROUGE/METEOR分数
2. 运行预训练模型的解码
3. 训练您自己的模型

如果您使用此代码，请引用我们的论文：

@inproceedings{chen2018fast,
  title={Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting},
  author={Yen-Chun Chen and Mohit Bansal},
  booktitle={Proceedings of ACL},
  year={2018}
}

依赖项

• Python 3（已在python 3.6上测试）
• PyTorch 0.4.0
  • 需要启用GPU和CUDA的安装（尽管代码可以在CPU上运行，但速度会非常慢）
• gensim
• cytoolz
• tensorboardX
• pyrouge（用于评估）

您可以使用您选择的Python包管理器（pip/conda）来安装这些依赖项。 该代码已在Linux操作系统上测试通过。

评估我们ACL论文中的输出摘要

请从*这里*下载输出摘要。

为了进行评估，您需要下载并设置官方的ROUGE和METEOR工具包。

我们使用pyrouge (pip install pyrouge即可安装) 来生成官方Perl脚本所需的ROUGE XML文件。您还需要官方的ROUGE工具包。 （然而，似乎原始的ROUGE网站已经关闭了。一个替代方案可以在这里找到： 这里。） 请通过设置环境变量export ROUGE=[rouge目录路径]来指定您的ROUGE工具包路径。

对于METEOR，我们只需要JAR文件meteor-1.5.jar。 请通过设置环境变量export METEOR=[meteor jar路径]来指定该文件。

运行

python eval_acl.py --[rouge/meteor] --decode_dir=[解码文件路径]

即可得到论文中报告的ROUGE/METEOR分数。

使用预训练模型解码摘要

请从*这里下载预训练模型。 您还需要CNN/DailyMail数据集的预处理版本。请按照这里*的说明下载并预处理CNN/DailyMail数据集。 之后，通过设置环境变量export DATA=[解压后的数据路径]来指定数据文件的路径。

我们提供了两个版本的预训练模型。 使用acl版本可以复现我们论文中报告的结果。 使用new版本则可以获得我们使用较新版本PyTorch库训练的最新结果，其得分略高。

要进行解码，请运行

python decode_full_model.py --path=[保存解码文件的路径] --model_dir=[预训练模型路径] --beam=[束宽] [--test/--val]

选项：

• 束宽：用于（多样化）束搜索的假设数量。（使用束宽>1可启用重新排序）
  • 束宽=1可获得贪婪解码结果（rnn-ext + abs + RL）
  • 论文中+rerank模型使用的束宽为5（rnn-ext + abs + RL + rerank）
• test/val：在测试/验证集上解码

如果您想对生成的输出文件进行评估，请按照上述部分的说明设置ROUGE/METEOR。

接下来，制作用于评估的参考文件：

python make_eval_references.py

然后通过以下命令进行评估：

python eval_full_model.py --[rouge/meteor] --decode_dir=[保存解码文件的路径]

结果

您应该会得到以下结果：

验证集

模型	ROUGEs (R-1, R-2, R-L)	METEOR
acl
rnn-ext + abs + RL	(41.01, 18.20, 38.57)	21.10
+ rerank	(41.74, 18.39, 39.40)	20.45
new
rnn-ext + abs + RL	(41.23, 18.45, 38.71)	21.14
+ rerank	(42.06, 18.80, 39.68)	20.58

测试集

模型	ROUGEs (R-1, R-2, R-L)	METEOR
acl
rnn-ext + abs + RL	(40.03, 17.61, 37.58)	21.00
+ rerank	(40.88, 17.81, 38.53)	20.38
new
rnn-ext + abs + RL	(40.41, 17.92, 37.87)	21.13
+ rerank	(41.20, 18.18, 38.79)	20.56

注意： 论文中最初的模型是使用pytorch 0.2.0和python 2训练的。 在论文被接受后，我们认为如果能发布使用最新库的代码，将更有利于社区，这样人们就可以更容易地基于我们的工作构建新的模型或技术。因此，在运行旧版预训练模型时，与论文中的结果相比几乎没有差异；而运行新版预训练模型时，则会比论文中的得分略高。

训练您自己的模型

请按照*这里*的说明下载并预处理CNN/DailyMail数据集。 之后，通过设置环境变量export DATA=[解压后的数据路径]来指定数据文件的路径。

要重新训练我们的最佳模型：

1. 预训练一个word2vec词嵌入

python train_word2vec.py --path=[word2vec保存路径]

2. 生成伪标签

python make_extraction_labels.py

3. 使用ML目标训练抽象器和提取器

python train_abstractor.py --path=[抽象器模型保存路径] --w2v=[word2vec路径/word2vec.128d.226k.bin]
python train_extractor_ml.py --path=[提取器模型保存路径] --w2v=[word2vec路径/word2vec.128d.226k.bin]

4. 训练完整RL模型

python train_full_rl.py --path=[保存模型的路径] --abs_dir=[抽象器模型路径] --ext_dir=[提取器模型路径]

训练完成后，您可以按照前一节的说明进行解码和评估。

以上步骤将默认使用我们在论文中采用的最佳超参数。如需调整超参数，请参阅相应的源代码。

fast_abs_rl 快速上手指南

本指南基于 ACL 2018 论文《Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting》的代码库，帮助开发者快速部署预训练模型进行摘要生成，或从头训练自己的强化学习摘要模型。

环境准备

系统要求

• 操作系统: Linux (代码已在 Linux 环境下测试)
• Python: Python 3.6+ (推荐 3.6)
• 硬件: 强烈建议使用支持 CUDA 的 GPU。虽然支持 CPU 运行，但速度极慢，不适用于实际训练或大规模解码。

前置依赖

请确保已安装以下核心库：

• PyTorch: 版本 0.4.0 (需开启 GPU/CUDA 支持)
• gensim: 用于词向量处理
• cytoolz: 工具函数库
• tensorboardX: 用于训练可视化
• pyrouge: 用于 ROUGE 指标评估

注意：评估部分还需要官方 ROUGE Perl 脚本包和 METEOR JAR 文件 (meteor-1.5.jar)。由于官方 ROUGE 网站可能不可用，可使用 此替代源。

安装步骤

推荐使用 pip 或 conda 安装依赖。国内用户可使用清华或阿里镜像加速安装。

# 创建并激活虚拟环境 (可选但推荐)
conda create -n fast_abs_rl python=3.6
conda activate fast_abs_rl

# 安装 PyTorch 0.4.0 (根据具体 CUDA 版本调整，此处以 cuda9.0 为例)
# 国内加速示例 (清华源)
pip install torch==0.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他依赖
pip install gensim cytoolz tensorboardX pyrouge -i https://pypi.tuna.tsinghua.edu.cn/simple

配置评估工具环境变量 (如需运行评估脚本)：

# 替换为实际路径
export ROUGE=/path/to/your/ROUGE-1.5.5
export METEOR=/path/to/your/meteor-1.5.jar
export DATA=/path/to/decompressed/cnn_dailymail_data

基本使用

最快速的上手方式是下载预训练模型并对 CNN/DailyMail 数据集进行解码生成摘要。

1. 数据准备

下载并预处理 CNN/DailyMail 数据集（参考 官方预处理指南）。完成后设置数据路径环境变量：

export DATA=/path/to/your/preprocessed/data

2. 下载预训练模型

从以下地址下载预训练权重：

• ACL 版本: 复现论文原始结果 (下载链接)
• New 版本: 基于新版 PyTorch 训练，分数略高 (下载链接)

解压后记录模型目录路径。

3. 运行解码 (生成摘要)

使用 decode_full_model.py 生成摘要。以下命令演示如何使用预训练模型在验证集上进行束搜索解码：

python decode_full_model.py --path=./decoded_output --model_dir=/path/to/pretrained_model --beam=5 --val

参数说明：

• --path: 生成文件的保存路径。
• --model_dir: 预训练模型文件夹路径。
• --beam: 束搜索大小。
  • 1: 贪婪解码 (rnn-ext + abs + RL)。
  • 5: 启用重排序 (rnn-ext + abs + RL + rerank)，论文中使用的设置。
• --val / --test: 指定在验证集或测试集上运行。

4. (可选) 评估结果

若需计算 ROUGE 或 METEOR 分数，先生成参考文件，再运行评估：

# 生成评估所需的参考文件
python make_eval_references.py

# 执行评估 (例如评估 ROUGE)
python eval_full_model.py --rouge --decode_dir=./decoded_output