注意：此代码不再积极维护。不过，欢迎使用 Issues (问题区) 部分与其他用户讨论代码。一些用户已更新此代码以适配较新版本的 Tensorflow (深度学习框架) 和 Python (编程语言) - 请参阅以下信息和 Issues 部分。

---

本仓库包含 ACL 2017 论文 Get To The Point: Summarization with Pointer-Generator Networks 的代码。如需直观了解该论文，请阅读 博客文章。

寻找测试集输出？

论文中描述的模型的 test set (测试集) 输出可以在 这里 找到。

寻找预训练模型？

一个 pretrained model (预训练模型) 在此可用：

• Tensorflow 1.0 版本
• Tensorflow 1.2.1 版本

（这两者之间的唯一区别在于 checkpoint (检查点) 中某些变量的命名。Tensorflow 1.0 使用 lstm_cell/biases 和 lstm_cell/weights，而 Tensorflow 1.2.1 使用 lstm_cell/bias 和 lstm_cell/kernel）。

注意：此 pretrained model (预训练模型) 与论文中报告的模型不完全相同。也就是说，它具有相同的 architecture (架构)，使用相同的设置进行训练，但来自不同的训练运行。因此，此 pretrained model (预训练模型) 的 ROUGE (文本评估指标) 评分略低于论文中报告的评分。这可能是由于我们在原始实验中略微 overfit (过拟合) 了随机性（在原始实验中，我们尝试了各种 hyperparameter (超参数) 设置并选择了表现最佳的模型）。使用相同设置重复实验一次的表现不如前者。进一步的 hyperparameter (超参数) 调优可能会获得更好的结果。

为什么不能发布论文中报告的训练模型？ 由于原始实验和代码发布之间代码发生了变化（例如 TensorFlow 版本更改、大量代码清理），无法发布原始训练模型文件。

寻找 CNN / Daily Mail 数据？

说明在 这里。

关于此代码

此代码基于 Google Brain 的 TextSum 代码。

此代码是为 Tensorflow 0.12 开发的，但已更新为可在 Tensorflow 1.0 上运行。 特别是，attention_decoder.py 中的代码基于 tf.contrib.legacy_seq2seq_attention_decoder，该接口现已过时。 Tensorflow 1.0 的 新 seq2seq (序列到序列模型) 库 未来可能会提供一种更优雅和高效的方式来实现此功能（以及 beam search (束搜索)）。

Python 3 版本：此代码使用 Python 2。如果您想要 Python 3 版本，请参阅 @becxer 的 fork (代码分支)。

如何运行

获取 dataset (数据集)

要获取 CNN / Daily Mail dataset (数据集)，请遵循 这里 的说明。完成后，您应该拥有 chunked (分块) 数据文件 train_000.bin, ..., train_287.bin, val_000.bin, ..., val_013.bin, test_000.bin, ..., test_011.bin（每个包含 1000 个示例）和一个 vocabulary (词汇表) 文件 vocab。

注意：如果您是在 2017 年 5 月 7 日之前完成的，请遵循 这里 的说明以纠正过程中的一个 bug (错误)。

运行训练

要训练您的模型，运行：

python run_summarization.py --mode=train --data_path=/path/to/chunked/train_* --vocab_path=/path/to/vocab --log_root=/path/to/a/log/directory --exp_name=myexperiment

这将在您指定的 log_root 下创建一个名为 myexperiment 的子目录，所有 checkpoints (检查点) 和其他数据将保存在此处。然后模型将开始使用 train_*.bin 文件作为训练数据进行训练。

警告：使用上述命令中的默认设置，初始化模型和运行 training iterations (训练迭代) 可能都会相当慢。为了加快速度，尝试将以下 flags (标志参数)（尤其是 max_enc_steps 和 max_dec_steps）设置为比 run_summarization.py 中指定的默认值更小的值：hidden_dim, emb_dim, batch_size, max_enc_steps, max_dec_steps, vocab_size。

在训练期间增加 sequence length (序列长度)：请注意，为了获得论文中描述的结果，我们在整个训练过程中分阶段增加 max_enc_steps 和 max_dec_steps 的值（主要是为了在训练的早期阶段执行更快的迭代）。如果您也想这样做，请从较小的 max_enc_steps 和 max_dec_steps 值开始，然后在想要增加它们时中断并重新启动任务并使用较大的值。

运行（并发）eval (评估)

您可能希望运行一个并发 evaluation (评估) 任务，该任务在 validation set (验证集) 上运行您的模型并记录 loss (损失)。为此，运行：

python run_summarization.py --mode=eval --data_path=/path/to/chunked/val_* --vocab_path=/path/to/vocab --log_root=/path/to/a/log/directory --exp_name=myexperiment

注意：您应该使用与训练任务相同的设置运行上述命令。

恢复 snapshots (快照)：评估任务会保存迄今为止在验证数据上获得最低 loss (损失) 的模型 snapshot (快照)。您可能希望恢复这些“最佳模型”中的一个，例如，如果您的训练任务已 overfit (过拟合)，或者如果训练 checkpoint 因 NaN (非数字) 值而损坏。为此，运行您的训练命令并加上 --restore_best_model=1 flag (标志)。这会将评估目录中的最佳模型复制到训练目录。然后再次运行通常的训练命令。

运行束搜索解码 (Beam Search Decoding)

要运行束搜索解码：

python run_summarization.py --mode=decode --data_path=/path/to/chunked/val_* --vocab_path=/path/to/vocab --log_root=/path/to/a/log/directory --exp_name=myexperiment

注意：你需要使用与训练任务相同的设置来运行上述命令（加上任何解码模式特定的标志，如 beam_size）。

这将反复从指定的数据文件中加载随机示例，并使用束搜索生成摘要。结果将打印至屏幕。

可视化你的输出：此外，解码任务会生成一个名为 attn_vis_data.json 的文件。该文件提供了浏览器内可视化工具所需的数据，允许你查看投射到文本上的注意力分布 (attention distributions)。要使用可视化器，请遵循 此处 的说明。

如果你想在整个验证集或测试集上运行评估并获取 ROUGE 分数，请设置标志 single_pass=1。这将按顺序遍历整个数据集，将生成的摘要写入文件，然后使用 pyrouge 运行评估。（注意，这 不会 为注意力可视化器生成 attn_vis_data.json 文件）。

使用 ROUGE 评估

decode.py 使用 Python 包 pyrouge 来运行 ROUGE 评估。pyrouge 为官方 Perl ROUGE 包提供了更易用的接口，你必须安装该包才能使 pyrouge 工作。以下是一些关于如何操作的有用说明：

• 如何设置 Perl ROUGE
• 关于 Perl ROUGE 插件的更多详情

注意： 截至 2017 年 5 月 18 日，官方 Perl 包的 网站 似乎已下线。不幸的是，你需要从那里下载一个名为 ROUGE-1.5.5 的目录。作为替代方案，似乎你可以从 此处 获取该目录（但是，该仓库中的 pyrouge 版本似乎已过时，所以最好从 官方来源 安装 pyrouge）。

Tensorboard

从实验目录运行 Tensorboard（在上面的示例中为 myexperiment）。你应该能够看到来自训练和评估运行的数据。如果你选择"embeddings"，还应该看到你的词嵌入 (word embeddings) 可视化。

帮助，我遇到了 NaNs (非数字)！

由于 难以诊断 的原因，NaNs 有时会在训练期间发生，导致 loss=NaN，有时还会用 NaN 值损坏模型检查点 (model checkpoint)，使其无法使用。以下是一些建议：

• 如果训练因 Loss is not finite. Stopping. 异常而停止，你可以尝试重新启动。检查点可能并未损坏。
• 你可以使用 inspect_checkpoint.py 脚本检查你的检查点是否已损坏。如果它显示所有值都是有限的，那么你的检查点是正常的，你可以尝试用它恢复训练。
• 训练任务设置为任何时候保留 3 个检查点（参见 run_summarization.py 中的 max_to_keep 变量）。如果你的较新检查点已损坏，可能是较旧的其中一个并未损坏。你可以通过编辑 train 目录内的 checkpoint 文件切换到该检查点。
• 或者，你可以从 eval 目录恢复一个“最佳模型”。请参阅上方的 恢复快照 (Restoring snapshots) 说明。
• 如果你想尝试诊断 NaNs 的原因，可以开启 --debug=1 标志运行。这将运行 Tensorflow Debugger，它在训练期间检查 NaNs 并诊断其原因。

pointer-generator 快速上手指南

本项目实现了 ACL 2017 论文 Get To The Point: Summarization with Pointer-Generator Networks 中的文本摘要模型。

注意：本项目已不再积极维护，原始代码基于 TensorFlow 1.x 和 Python 2。如需 Python 3 支持，建议使用 @becxer 的分支。

环境准备

• 操作系统：Linux / Unix 环境推荐
• Python：2.7（原始版本）或 3.x（需使用上述 fork 版本）
• TensorFlow：1.0 - 1.2.1
  • 预训练模型支持 TF 1.0 和 1.2.1 版本（变量命名略有不同）
• 评估依赖：
  • 官方 Perl ROUGE 包（需手动下载安装 ROUGE-1.5.5）
  • Python 接口：pyrouge

安装步骤

1. 克隆代码库

   git clone https://github.com/abisee/pointer-generator.git
   cd pointer-generator
   

2. 准备数据集 本项目使用 CNN / Daily Mail 数据集。请按照 官方指令 处理数据。

   • 完成后应获得分块数据文件：train_*.bin, val_*.bin, test_*.bin
   • 词汇表文件：vocab

3. 安装 Python 依赖

   pip install tensorflow==1.2.1
   pip install pyrouge
   

   配置 pyrouge 指向 Perl ROUGE 安装目录：

   python -m pyrouge.test
   

基本使用

以下命令假设数据已准备好，日志目录为 /path/to/a/log/directory。

1. 训练模型 启动训练，模型检查点将保存在 log_root/exp_name 目录下。

   python run_summarization.py --mode=train --data_path=/path/to/chunked/train_* --vocab_path=/path/to/vocab --log_root=/path/to/a/log/directory --exp_name=myexperiment
   

   提示：默认设置可能较慢。如需加速，可减小 hidden_dim, batch_size, max_enc_steps, max_dec_steps 等参数。

2. 解码与生成摘要 使用 Beam Search 生成摘要并打印结果。

   python run_summarization.py --mode=decode --data_path=/path/to/chunked/val_* --vocab_path=/path/to/vocab --log_root=/path/to/a/log/directory --exp_name=myexperiment
   

   • 生成结果将打印到屏幕。
   • 如需生成注意力可视化数据，会产出 attn_vis_data.json 文件。
   • 如需在整个验证集/测试集上运行并计算 ROUGE 分数，添加标志 --single_pass=1。

3. 可视化监控 使用 TensorBoard 查看训练损失和词嵌入可视化。

   tensorboard --logdir=/path/to/a/log/directory/myexperiment