BERTScore

自动评估指标，如论文《BERTScore：用BERT评估文本生成》（ICLR 2020）中所述。目前我们支持约130种模型（请参阅此电子表格，其中列出了它们与人工评价的相关性）。当前表现最佳的模型是microsoft/deberta-xlarge-mnli，建议使用该模型代替默认的roberta-large，以获得与人工评价的最佳相关性。

最新消息：

• 更新至0.3.13版本

  • 修复了transformers版本>4.17.0时的bug (#148)

• 更新至0.3.12版本

  • 使get_idf_dict与DDP兼容 (#140)
  • 修复了安装问题 (#138)

• 更新至0.3.11版本

  • 支持6个DeBERTa v3模型
  • 支持3个ByT5模型

• 更新至0.3.10版本

  • 支持8个SimCSE模型
  • 修复了scibert的支持问题（使其与transformers >= 4.0.0兼容）
  • 添加了用于复现我们论文中部分结果的脚本（详见此文件夹）
  • 支持Hugging Face Transformers中的快速分词器，可通过--use_fast_tokenizer选项启用。需要注意的是，由于分词器实现的不同，您可能会得到不同的分数 (#106)。
  • 修复了空候选字符串时召回率不为零的问题 (#107)。
  • 增加了对土耳其语BERT的支持 (#108)。

• 更新至0.3.9版本

  • 支持3个BigBird模型
  • 修复了mBART和T5的若干bug
  • 按照请求支持了4个mT5模型 (#93)

• 更新至0.3.8版本

  • 支持53个新的预训练模型，包括BART、mBART、BORT、DeBERTa、T5、BERTweet、MPNet、ConvBERT、SqueezeBERT、SpanBERT、PEGASUS、Longformer、LED、Blendbot等。其中，DeBERTa在WMT16数据集上与人工评分的相关性高于我们的默认模型RoBERTa。相关性数据见此Google表格。
  • 如果希望得分与人工评分有更好的相关性，请考虑使用--model_type microsoft/deberta-xlarge-mnli或--model_type microsoft/deberta-large-mnli（速度更快）。
  • 添加了DeBERTa模型的基准文件。
  • 提供了生成基准文件的示例代码（详情请参阅get_rescale_baseline）。

• 更新至0.3.7版本

  • 与Hugging Face的transformers库v4.0.0及以上版本兼容。感谢各位社区贡献者(#84, #85, #86)。

• 如需复现我们在COCO字幕数据集上的实验，请参阅#22。

• 对于中国用户来说，下载预训练权重可能会非常缓慢。我们已在百度网盘上提供了部分模型的副本：

  • roberta-large 提取码：dhe5
  • bert-base-chinese 提取码：jvk7
  • bert-base-multilingual-cased 提取码：yx3q

• Hugging Face的datasets库已将BERTScore纳入其度量指标集合中。

往期更新

• 更新至0.3.6版本
  • 支持自定义基准文件 #74
  • --rescale-with-baseline选项现已改为--rescale_with_baseline，以与其他选项保持一致。
• 更新至0.3.5版本
  • 与Hugging Face的transformers库v3.0.0及以上版本兼容，并进行了一些小修复 (#58, #66, #68)。
  • 进行了多项效率相关的改进 (#67, #69)。
• 更新至0.3.4版本
  • 现在与transformers v2.11.0兼容 (#58)。
• 更新至0.3.3版本
  • 修复了空字符串的bug issue #47。
  • 支持6个ELECTRA模型和24个小型BERT模型。
  • 新增了一个Google表格，用于记录不同模型在WMT16英译任务中与人工判断的皮尔逊相关性。
  • 包含了针对WMT16英译数据调优英语预训练模型最佳层数的脚本（详情请参阅tune_layers）。
• 更新至0.3.2版本
  • 修复了bug：解决了v0.3.1版本中处理多条参考句时出现的问题。
  • 现在我们的命令行工具支持多条参考句。
• 更新至0.3.1版本
  • 引入了一个新的BERTScorer对象，可缓存模型以避免重复加载。使用方法请参阅我们的Jupyter Notebook示例。
  • 现在每个样本可以有多个参考句。score函数现在可以接受一个字符串列表的列表作为参考，并返回候选句与其最接近的参考句之间的分数。

更多旧版本的更新信息，请参阅发布日志。

作者：

• 张天一*
• 瓦尔莎·基肖尔*
• 费利克斯·吴*
• 基利安·Q·温伯格
• 约阿夫·阿茨伊

*: 共同贡献

概述

BERTScore 利用 BERT 的预训练上下文嵌入，通过余弦相似度匹配候选句和参考句中的词语。研究表明，它与人类对句子级别和系统级别的评价具有相关性。此外，BERTScore 还可以计算精确率、召回率和 F1 分数，这些指标对于评估不同的语言生成任务非常有用。

例如，BERTScore 的召回率可以这样计算：

如果您觉得这个仓库很有用，请引用以下文献：

@inproceedings{bert-score,
  title={BERTScore: Evaluating Text Generation with BERT},
  author={Tianyi Zhang* and Varsha Kishore* and Felix Wu* and Kilian Q. Weinberger and Yoav Artzi},
  booktitle={International Conference on Learning Representations},
  year={2020},
  url={https://openreview.net/forum?id=SkeHuCVFDr}
}

安装

• Python 版本 >= 3.6
• PyTorch 版本 >= 1.0.0

可以通过 pip 从 pypi 安装：

pip install bert-score

也可以从 GitHub 主分支安装最新的不稳定版本：

pip install git+https://github.com/Tiiiger/bert_score

或者从源代码安装：

git clone https://github.com/Tiiiger/bert_score
cd bert_score
pip install .

安装完成后，您可以运行以下命令来测试安装是否成功：

python -m unittest discover

使用方法

Python 函数

总体来说，我们提供了一个 Python 函数 bert_score.score 和一个 Python 对象 bert_score.BERTScorer。函数提供了所有支持的功能，而评分器对象则会缓存 BERT 模型，以便进行多次评估。请查看我们的 示例，了解如何使用这两个接口。实现细节请参阅 bert_score/score.py。

运行 BERTScore 可能会非常消耗计算资源（因为它使用了 BERT :p）。因此，通常需要 GPU。如果您没有 GPU，可以尝试我们在 Google Colab 上的演示。

命令行界面 (CLI)

我们不仅提供了 Python 模块，还提供了一个 BERTScore 的命令行界面。以下是 CLI 的使用方法：

1. 评估英文文本文件：

我们提供了一些示例输入文件在 ./example 目录下。

bert-score -r example/refs.txt -c example/hyps.txt --lang en

最终您将得到如下输出：

roberta-large_L17_no-idf_version=0.3.0(hug_trans=2.3.0) P: 0.957378 R: 0.961325 F1: 0.959333

其中“roberta-large_L17_no-idf_version=0.3.0(hug_trans=2.3.0)”是哈希码。

从 0.3.0 版本开始，我们支持使用基准分数对得分进行重新缩放：

bert-score -r example/refs.txt -c example/hyps.txt --lang en --rescale_with_baseline

您将得到：

roberta-large_L17_no-idf_version=0.3.0(hug_trans=2.3.0)-rescaled P: 0.747044 R: 0.770484 F1: 0.759045

这使得得分范围更大，更易于理解。详细信息请参阅这篇 文章。

如果有多个参考句，请使用以下命令：

bert-score -r example/refs.txt example/refs2.txt -c example/hyps.txt --lang en

其中 -r 参数可以接受任意数量的参考文件。每个参考文件的行数应与候选句文件相同。每个参考文件的第 i 行对应于候选句文件的第 i 行。

2. 评估其他语言的文本文件：

我们目前支持多语言 BERT 中的 104 种语言（完整列表）。

请指定该语言的双字母缩写。例如，对于中文文本，使用 --lang zh。

更多选项请使用 bert-score -h 查看。

3. 加载自定义模型： 请通过 --model 和 --num_layers 指定模型路径和要使用的层数。

bert-score -r example/refs.txt -c example/hyps.txt --model path_to_my_bert --num_layers 9

4. 可视化匹配得分：

bert-score-show --lang en -r "There are two bananas on the table." -c "On the table are two apples." -f out.png

生成的图像将保存为 out.png。

5. 如果在使用 BERTScore 时看到以下提示，请忽略。这是正常现象：

Some weights of the model checkpoint at roberta-large were not used when initializing RobertaModel: ['lm_head.decoder.weight', 'lm_head.layer_norm.weight', 'lm_head.dense.bias', 'lm_head.layer_norm.bias', 'lm_head.bias', 'lm_head.dense.weight']
- This IS expected if you are initializing RobertaModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).
- This IS NOT expected if you are initializing RobertaModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).

实用技巧

• 在论文中报告哈希码（例如：roberta-large_L17_no-idf_version=0.3.0(hug_trans=2.3.0)-rescaled），以便他人了解您使用的设置。这一做法受到 sacreBLEU 的启发。Hugging Face 的 transformers 版本变化也可能影响得分（参见 issue #46）。
• 与 BERT 不同，RoBERTa 使用 GPT2 风格的分词器，在连续出现多个空格时会生成额外的空格标记。建议使用 sent = re.sub(r' +', ' ', sent) 或 sent = re.sub(r'\s+', ' ', sent) 来去除多余的空格。
• 在参考句上使用逆文档频率（idf）来权衡单词的重要性，可能会与人类判断更加一致。然而，当参考句集过小时，idf 得分可能会变得不准确或无效。我们现在将其设为可选。如果要使用 idf，请在使用 CLI 工具时设置 --idf，或在调用 bert_score.score 函数时设置 idf=True。
• 当 GPU 内存不足时，可以在调用 bert_score.score 函数时设置 batch_size。
• 如果要使用特定模型，请在使用 CLI 工具时设置 -m MODEL_TYPE，或在调用 bert_score.score 函数时设置 model_type=MODEL_TYPE。
• 我们根据 WMT16 评测数据集调整了使用的层数。您也可以通过设置 -l LAYER 或 num_layers=LAYER 来选择不同的层。要为您的自定义模型找到最佳层数，请按照 tune_layers 文件夹中的说明操作。
• 局限性：由于 BERT、RoBERTa 和 XLM 等带有学习型位置嵌入的模型是在最大长度为 512 的句子上预训练的，因此 BERTScore 对于超过 510 个 token 的句子（加上 [CLS] 和 [SEP] 标记后为 512 个 token）是未定义的。超过此长度的句子会被截断。请考虑使用 XLNet，它可以支持更长的输入。

默认行为

默认模型

语言	模型
en	roberta-large
en-sci	allenai/scibert_scivocab_uncased
zh	bert-base-chinese
tr	dbmdz/bert-base-turkish-cased
其他	bert-base-multilingual-cased

默认层

请参阅此 Google 表格，以了解支持的模型及其性能。

致谢

如果没有出色的 bert、fairseq 和 transformers，这个仓库将无法实现。

BERTScore 快速上手指南

BERTScore 是一种基于预训练语言模型（如 BERT）的自动文本评估指标，通过计算候选句与参考句之间词嵌入的余弦相似度来衡量生成文本的质量。它在句子级和系统级评估中均表现出与人类判断的高度相关性，并支持精确率、召回率和 F1 值的计算。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：>= 3.6
• PyTorch 版本：>= 1.0.0
• 依赖库：transformers, numpy, torch 等（安装时会自动解决）

💡 提示：运行 BERTScore 计算量较大，建议使用 GPU 加速。若无 GPU，可尝试 Google Colab 演示。

安装步骤

方式一：通过 PyPI 安装（推荐）

pip install bert-score

方式二：从源码安装（获取最新功能）

git clone https://github.com/Tiiiger/bert_score
cd bert_score
pip install .

国内用户加速建议

由于下载预训练模型较慢，中国用户可从百度网盘手动下载部分模型权重：

• roberta-large 密码：dhe5
• bert-base-chinese 密码：jvk7
• bert-base-multilingual-cased 密码：yx3q

下载后可将模型放置于本地路径，并通过 --model 参数指定使用。

基本使用

方法一：命令行界面（CLI）

评估英文文本

准备两个文件：

• refs.txt：每行为一条参考句子
• hyps.txt：每行为一条候选句子

执行命令：

bert-score -r refs.txt -c hyps.txt --lang en

输出示例：

roberta-large_L17_no-idf_version=0.3.0(hug_trans=2.3.0) P: 0.957378 R: 0.961325 F1: 0.959333

启用分数重缩放（更易读）

bert-score -r refs.txt -c hyps.txt --lang en --rescale_with_baseline

支持多条参考句

bert-score -r refs1.txt refs2.txt -c hyps.txt --lang en

评估中文文本

bert-score -r refs_zh.txt -c hyps_zh.txt --lang zh

可视化词语匹配关系

bert-score-show --lang en -r "There are two bananas on the table." -c "On the table are two apples." -f match.png

方法二：Python API 调用

from bert_score import score

candidates = ["On the table are two apples."]
references = ["There are two bananas on the table."]

P, R, F1 = score(candidates, references, lang="en", verbose=True)
print(f"P: {P.mean():.4f}, R: {R.mean():.4f}, F1: {F1.mean():.4f}")

如需多次评估，推荐使用 BERTScorer 对象以缓存模型：

from bert_score import BERTScorer

scorer = BERTScorer(lang="en")
P, R, F1 = scorer.score(candidates, references)

✅ 推荐模型：为获得更高的人类评分相关性，建议使用 microsoft/deberta-xlarge-mnli 替代默认的 roberta-large：

bert-score -r refs.txt -c hyps.txt --lang en --model_type microsoft/deberta-xlarge-mnli