SciTLDR

此仓库包含我们论文《TLDR：科学文献的极简摘要》（arXiv:2004.15011）所使用的数据集、模型权重及生成代码。

数据集

SciTLDR 数据集按 60/20/20 的比例划分为训练集、验证集和测试集。每个文件中，每行是一个 JSON 格式的数据，其结构如下：

{
   "source":[
      "sent0",
      "sent1",
      "sent2",
      ...
   ],
   "source_labels":[二值列表，其中 1 表示黄金标准句子],
   "rouge_scores":[预计算的 ROUGE-1 分数],
   "paper_id":"PAPER-ID",
   "target":[
     "author-tldr",
      "pr-tldr0", 
      "pr-tldr1",
      ... 
   ],
   "title":"TITLE"
}

rouge_scores 和 source_labels 键并非运行代码所必需，但我们提供了预计算的 ROUGE 分数，以促进后续研究。

环境要求

我们使用 Fairseq 来训练和评估我们的模型。安装 Fairseq 的步骤如下：

git clone fairseq repo # TODO：确定如何使用特定版本
cd fairseq
pip install --editable .

安装其他所有依赖项，请运行：

pip install -r requirements.txt

在进行评估时，您需要 files2rouge 工具。请按照 此处 的说明进行安装。

模型权重

catts.tldr-ao

catts.tldr-aic

catts-xsum.tldr-ao

catts-xsum.tldr-aic

bart.tldr-ao

bart.tldr-aic

bart-xsum.tldr-ao

bart-xsum.tldr-aic

数据预处理

为了将数据格式化为 Fairseq 库所需的格式，请执行以下命令：

cd SciTLDR-Data
export TASK=SciTLDR-A # 可选 {A, AIC, FullText}
chmod +x make_datafiles.sh
./make_datafiles.sh # BPE 预处理

$TASK/ctrl 目录下包含了使用控制符格式化的数据集。

文本生成

该代码接收一个 test.source 文件，其中每行是一条输入，并输出一个包含预测结果的 test.hypo 文件。有关各版本模型的最佳解码器参数，请参阅 decoder_params。

python scripts/generate.py /path/to/modeldir/ SciTLDR-Data/SciTLDR-A/ctrl ./ --beam 2 --lenpen 0.4 --test_fname test.hypo

评估

此脚本是 ROUGE 的封装工具，它接收一个 test.hypo 文件，并将其与 test.jsonl 文件进行对比。

python scripts/cal-rouge.py /path/to/test.hypo SciTLDR-Data/SciTLDR-A/test.jsonl --workers 1

引用

如果您在研究中使用了我们的代码、数据集或模型权重，请引用论文《TLDR：科学文献的极简摘要》。

@article{cachola2020tldr,
  title={{TLDR}: Extreme Summarization of Scientific Documents},
  author={Isabel Cachola and Kyle Lo and Arman Cohan and Daniel S. Weld},
  journal={arXiv:2004.15011},
  year={2020},
}

SciTLDR 是由艾伦人工智能研究所 (AI2) 开发的开源项目。AI2 是一家非营利性研究机构，其使命是通过具有重大影响力的 AI 研究与工程为人类社会做出贡献。

SciTLDR 快速上手指南

SciTLDR 是一个用于科学文档“极端摘要”（Extreme Summarization）的开源项目，由艾伦人工智能研究所（AI2）开发。它能够将长篇科学论文压缩为简短的 TL;DR（太长不看）摘要。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2 或 Docker）
• Python 版本：推荐 Python 3.7+
• 依赖工具：
  • Fairseq：用于模型训练和推理的核心框架。
  • files2rouge：用于评估生成摘要的质量（ROUGE 指标）。
  • PyTorch：Fairseq 的基础依赖。

提示：国内开发者在安装 pip 依赖时，建议指定清华或阿里镜像源以加速下载： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 安装 Fairseq

首先克隆 Fairseq 仓库并进行可编辑安装：

git clone https://github.com/pytorch/fairseq.git
cd fairseq
pip install --editable .

2. 安装其他依赖

返回项目根目录（假设已克隆 SciTLDR 代码），安装其余所需包：

pip install -r requirements.txt

3. 安装评估工具 (files2rouge)

为了运行评估脚本，需要单独安装 files2rouge。请遵循其官方安装说明： https://github.com/pltrdy/files2rouge

4. 下载模型权重

根据需求下载预训练模型权重（例如 BART 模型）：

# 示例：下载 bart.tldr-ao.pt
wget https://storage.cloud.google.com/skiff-models/scitldr/bart.tldr-ao.pt
# 将下载的 .pt 文件放置在指定的模型目录中

基本使用

1. 数据预处理

在使用 Fairseq 进行推理前，需将数据转换为特定格式。进入数据目录并运行预处理脚本：

cd SciTLDR-Data
export TASK=SciTLDR-A # 可选值：{A, AIC, FullText}
chmod +x make_datafiles.sh
./make_datafiles.sh

执行后，$TASK/ctrl 目录下将生成包含控制代码的处理后数据集。

2. 生成摘要

使用预训练模型对测试集进行摘要生成。以下命令读取 test.source 并输出预测结果到 test.hypo：

python scripts/generate.py /path/to/modeldir/ SciTLDR-Data/SciTLDR-A/ctrl ./ --beam 2 --lenpen 0.4 --test_fname test.hypo

注意：请将 /path/to/modeldir/ 替换为您存放 .pt 模型文件的实际路径。

3. 评估结果

使用 ROUGE 指标评估生成的摘要质量。该脚本对比预测文件 (test.hypo) 和真实标签文件 (test.jsonl)：

python scripts/cal-rouge.py /path/to/test.hypo SciTLDR-Data/SciTLDR-A/test.jsonl --workers 1