BLEURT：一种基于迁移学习的自然语言生成评价指标

BLEURT 是一种用于自然语言生成任务的评价指标。它接受一对句子作为输入，即 参考句 和 候选句，并返回一个分数，该分数表示候选句在多大程度上流畅且准确地传达了参考句的语义。BLEURT 与 sentence-BLEU、BERTscore 和 COMET 具有可比性。

BLEURT 属于 训练型指标，即它是一个基于评分数据训练的回归模型。该模型基于 BERT 和 RemBERT 构建。本仓库包含了使用 BLEURT 以及针对您的特定应用对其进行微调所需的所有代码。BLEURT 使用 TensorFlow，并且在现代 GPU 上运行时性能会显著提升（当然也可以在 CPU 上运行）。

有关 BLEURT 的概述，请参阅我们的 博客文章。更多详细信息则可在 ACL 论文 BLEURT: Learning Robust Metrics for Text Generation 和 EMNLP 论文 我们的 EMNLP 论文 中找到。

安装

BLEURT 运行在 Python 3 环境中。它高度依赖 Tensorflow（>=1.15）和库 tf-slim（>=1.1）。您可以按照以下步骤进行安装：

pip install --upgrade pip  # 确保 pip 是最新版本
git clone https://github.com/google-research/bleurt.git
cd bleurt
pip install .

您可以通过单元测试来验证安装是否成功：

python -m unittest bleurt.score_test
python -m unittest bleurt.score_not_eager_test
python -m unittest bleurt.finetune_test
python -m unittest bleurt.score_files_test

使用 BLEURT —— 简要版

以下命令将下载推荐的检查点并运行 BLEURT：

# 下载 BLEURT-base 检查点。
wget https://storage.googleapis.com/bleurt-oss-21/BLEURT-20.zip .
unzip BLEURT-20.zip

# 运行评分。
python -m bleurt.score_files \
  -candidate_file=bleurt/test_data/candidates \
  -reference_file=bleurt/test_data/references \
  -bleurt_checkpoint=BLEURT-20

文件 bleurt/test_data/candidates 和 references 包含测试句子，这些句子默认包含在 BLEURT 发行包中。输入格式为每行一句。您可以将其替换为您自己的文件。该命令会为每对句子输出一个分数。

2021年10月8日更新： 我们已将推荐的检查点升级为 BLEURT-20，这是一款更准确、支持多语言的模型 🎉。

使用 BLEURT —— 详细版

命令行工具与 API

目前，调用 BLEURT 有三种方式：命令行界面、Python API 和 TensorFlow API。

命令行界面

使用 BLEURT 最简单的方式是通过命令行，如下所示：

python -m bleurt.score_files \
  -candidate_file=bleurt/test_data/candidates \
  -reference_file=bleurt/test_data/references \
  -bleurt_checkpoint=bleurt/test_checkpoint \
  -scores_file=scores

文件 candidates 和 references 每行包含一句（具体格式请参见 test_data 文件夹）。执行该命令后应生成一个名为 scores 的文件，其中包含每对句子对应的 BLEURT 分数。或者，您也可以使用 JSONL 文件，如下：

python -m bleurt.score_files \
  -sentence_pairs_file=bleurt/test_data/sentence_pairs.jsonl \
  -bleurt_checkpoint=bleurt/test_checkpoint

标志 bleurt_checkpoint 和 scores_file 是可选的。如果未指定 bleurt_checkpoint，BLEURT 将默认使用基于 BERT-Tiny 的测试检查点，该检查点非常轻量，但准确性也较低（我们不建议使用）。如果未指定 scores_file，BLEURT 将直接输出到标准输出。

以下命令列出了所有其他命令行选项：

python -m bleurt.score_files -helpshort

Python API

BLEURT 也可以作为 Python 库使用，如下：

from bleurt import score

checkpoint = "bleurt/test_checkpoint"
references = ["这是一个测试。"]
candidates = ["这是测试。"]

scorer = score.BleurtScorer(checkpoint)
scores = scorer.score(references=references, candidates=candidates)
assert isinstance(scores, list) and len(scores) == 1
print(scores)

同样地，如果未指定检查点，BLEURT 将默认使用 BERT-Tiny。

BLEURT 在 eager_mode（TF 2.0 默认模式）和 tf.Session（TF 1.0）下均可工作，但后者速度较慢，并且可能在不久的将来被弃用。

TensorFlow API

BLEURT 可以嵌入到 TF 计算图中，例如在训练模型时将其可视化在 TensorBoard 上。

以下代码展示了示例：

import tensorflow as tf
# 如果使用 TF 1.x，请启用 tf.enable_eager_execution()。

from bleurt import score

references = tf.constant(["这是一个测试。"])
candidates = tf.constant(["这是测试。"])

bleurt_ops = score.create_bleurt_ops()
bleurt_out = bleurt_ops(references=references, candidates=candidates)

assert bleurt_out["predictions"].shape == (1,)
print(bleurt_out["predictions"])

关键在于调用 score.create_bleurt_ops，它会创建相应的 TF 操作。

检查点

BLEURT 检查点 是一个自包含的文件夹，其中包含回归模型以及 BLEURT 运行所需的一些信息。BLEURT 检查点可以下载、复制粘贴并存储在任何位置。此外，检查点是可调优的，这意味着它们可以在自定义评分数据上进行微调。

BLEURT 默认使用 test 检查点，其准确性较低。我们建议在结果报告中使用 BLEURT-20。使用方法如下：

wget https://storage.googleapis.com/bleurt-oss-21/BLEURT-20.zip .
unzip BLEURT-20.zip
python -m bleurt.score_files \
  -candidate_file=bleurt/test_data/candidates \
  -reference_file=bleurt/test_data/references \
  -bleurt_checkpoint=BLEURT-20

检查点页面 提供了关于这些检查点如何训练的更多信息，以及指向较小模型的链接。此外，您还可以在自己的评分数据上对 BERT 或现有的 BLEURT 检查点进行微调。检查点页面 描述了具体的操作方法。

解读 BLEURT 分数

不同的 BLEURT 检查点会产生不同的分数。目前推荐使用的检查点 BLEURT-20 生成的分数大致介于 0 到 1 之间（有时小于 0，有时大于 1），其中 0 表示随机输出，1 表示完美输出。与所有自动评估指标一样，BLEURT 分数也存在噪声。为了稳健地评估系统的质量，我们建议对语料库中各句子的 BLEURT 分数取平均值。有关这方面的指标比较，请参阅 WMT Metrics 共享任务。

原则上，BLEURT 应该衡量“恰当性”：其训练数据大多由 WMT 组织者收集，他们要求标注者回答：“你多大程度上同意系统输出充分表达了参考文本的含义？”（WMT Metrics'18，Graham 等，2015）。然而，在实践中，这些答案往往与“流畅性”（“这段文字是否通顺自然？”）高度相关；此外，我们在训练集中加入了人为噪声，这使得“恰当性”和“流畅性”之间的区分变得有些模糊。

语言覆盖范围

目前，BLEURT-20 已在 13 种语言上进行了测试：中文、捷克语、英语、法语、德语、日语、韩语、波兰语、葡萄牙语、俄语、西班牙语、泰米尔语和越南语（这些语言均拥有独立的评分数据集）。理论上，它应该也能适用于 多语言 C4 数据集中的 100 多种语言，因为 RemBERT 就是在该数据集上训练的。

如果您尝试过其他语言并愿意分享您的使用体验——无论是正面还是负面——都欢迎向我们反馈！

加速 BLEURT

我们介绍三种加速 BLEURT 的方法及其组合方式。

批量大小调整

您可以指定 -bleurt_batch_size 标志来决定 BLEURT 每次同时处理的句子对数量。默认值为 16，您可以根据可用内存以及是否有 GPU 来适当增大或减小该值（通常在没有 GPU 的笔记本电脑上使用 16，在配备 GPU 的工作站上则使用 100）。

基于长度的批处理

基于长度的批处理是一种优化技术，它会将长度相近的样本分组，并裁剪结果张量以避免对填充标记进行不必要的计算。这种方法通常能带来显著的速度提升（一般为 2 至 10 倍）。相关说明可参见 这里，并且已被 BERTScore 等学习型指标工具成功应用。

您可以通过在命令行调用 score_files 时添加 -batch_same_length=True 参数，或者在使用 Python API 时实例化 LengthBatchingBleurtScorer 而非 BleurtScorer，来启用基于长度的批处理。

知识蒸馏模型

我们在 检查点页面 提供了多个压缩版检查点的链接。这些模型是通过知识蒸馏这一有损过程得到的，因此其输出无法与原始 BLEURT 模型的输出直接比较（尽管两者应高度相关）。

综合运用

以下命令展示了如何结合上述三种技术，在较大文件上将 BLEURT 的速度提升一个数量级（在我们的配置下最高可达 20 倍）：

# 下载 12 层蒸馏模型，其体积约为原模型的 3.5 倍。
wget https://storage.googleapis.com/bleurt-oss-21/BLEURT-20-D12.zip .
unzip BLEURT-20-D12.zip

python -m bleurt.score_files \
  -candidate_file=bleurt/test_data/candidates \
  -reference_file=bleurt/test_data/references \
  -bleurt_batch_size=100 \            # 优化措施 1。
  -batch_same_length=True \           # 优化措施 2。
  -bleurt_checkpoint=BLEURT-20-D12    # 优化措施 3。

可复现性

您可以在 WMT Metrics 共享任务页面 上找到有关如何使用评分数据的信息，以及如何复现 我们 ACL 论文 中的结果；此外，我们 EMNLP 论文 中的部分模型也可在 此页面 上找到。

引用方式

请引用我们的 ACL 论文：

@inproceedings{sellam2020bleurt,
  title = {BLEURT: Learning Robust Metrics for Text Generation},
  author = {Thibault Sellam and Dipanjan Das and Ankur P Parikh},
  year = {2020},
  booktitle = {Proceedings of ACL}
}

最新模型 BLEURT-20 基于以下后续论文的工作：

@inproceedings{pu2021learning,
  title = {Learning compact metrics for MT},
  author = {Pu, Amy and Chung, Hyung Won and Parikh, Ankur P and Gehrmann, Sebastian and Sellam, Thibault},
  booktitle = {Proceedings of EMNLP},
  year = {2021}
}

BLEURT 快速上手指南

BLEURT 是一种基于迁移学习的自然语言生成（NLG）评估指标。它接收“参考句”和“候选句”作为输入，输出一个分数来衡量候选句的流畅度及其对参考句语义的表达程度。该工具基于 BERT 和 RemBERT 模型，支持 GPU 加速。

环境准备

• 操作系统：Linux, macOS, Windows (推荐 Linux)
• Python 版本：Python 3.6+
• 核心依赖：
  • TensorFlow >= 1.15 (推荐使用 TF 2.x，BLEURT 兼容 Eager Mode)
  • tf-slim >= 1.1
• 硬件建议：虽然支持 CPU 运行，但强烈建议使用现代 GPU 以获得最佳性能。

安装步骤

1. 升级 pip 并克隆仓库：

   pip install --upgrade pip
   git clone https://github.com/google-research/bleurt.git
   cd bleurt
   

2. 安装 BLEURT 包：

   pip install .
   

3. 验证安装（可选）： 运行单元测试以确保环境配置正确：

   python -m unittest bleurt.score_test
   python -m unittest bleurt.score_not_eager_test
   python -m unittest bleurt.finetune_test
   python -m unittest bleurt.score_files_test
   

4. 下载预训练模型： 官方推荐使用 BLEURT-20 检查点（更准确且支持多语言）。

   wget https://storage.googleapis.com/bleurt-oss-21/BLEURT-20.zip .
   unzip BLEURT-20.zip
   

   提示：如果下载速度慢，可尝试使用代理或寻找国内镜像源下载 BLEURT-20.zip 后解压到当前目录。

基本使用

方法一：命令行工具（推荐）

这是最简单的使用方式。准备两个文本文件，每行包含一个句子：

• references.txt：参考句列表
• candidates.txt：待评估的候选句列表

运行以下命令：

python -m bleurt.score_files \
  -candidate_file=candidates.txt \
  -reference_file=references.txt \
  -bleurt_checkpoint=BLEURT-20 \
  -scores_file=scores.txt

• 输出文件 scores.txt 将包含每一对句子的评分（每行一个分数）。
• 如果不指定 -scores_file，结果将直接打印到标准输出。
• 如果不指定 -bleurt_checkpoint，系统将默认使用一个极小但不准确的测试模型，务必指定为 BLEURT-20。

方法二：Python API

你可以在 Python 脚本中直接调用 BLEURT：

from bleurt import score

# 指定检查点路径
checkpoint = "BLEURT-20"

# 准备数据 (列表形式)
references = ["这是一条参考句子。", "这是另一条参考。"]
candidates = ["这是一条候选句子。", "这是另一条候选。"]

# 初始化评分器
scorer = score.BleurtScorer(checkpoint)

# 计算得分
scores = scorer.score(references=references, candidates=candidates)

print(scores)
# 输出示例：[0.85, 0.92] (分数通常在 0 到 1 之间，越高越好)

分数解读

• 范围：通常在 0 到 1 之间（也可能出现小于 0 或大于 1 的情况）。
• 含义：0 表示随机输出，1 表示完美匹配。
• 建议：由于自动指标存在噪声，建议在语料库级别对分数取平均值以评估系统整体质量。