新闻：

1. 我们新增了一种从 XCOMET 输出中提取自由文本解释的方法！请查看此部分
2. 我们现在支持 DocCOMET，这是 COMET 的文档级扩展，能够利用上下文信息。使用上下文可以提升话语现象任务的准确性，以及对 聊天翻译质量 的无参考评估。
3. 我们发布了全新的可解释 COMET 模型（XCOMET-XL 和 -XXL)，这些模型在提供质量评分的同时，还能根据 MQM 分类体系检测译文中哪些错误属于轻微、严重或关键。

请在此处查看所有可用模型：这里

快速安装

COMET 需要 Python 3.8 或更高版本。可通过 PyPI 简单安装：

pip install --upgrade pip  # 确保 pip 是最新版本
pip install unbabel-comet

注意： 若要使用某些 COMET 模型，例如 Unbabel/wmt22-cometkiwi-da，您必须在 Hugging Face Hub 上确认其许可证，并登录 Hugging Face Hub.

若要在本地开发，请执行以下命令：

git clone https://github.com/Unbabel/COMET
cd COMET
pip install poetry
poetry install

在开发过程中，您可以直接运行 CLI 工具，例如：

PYTHONPATH=. ./comet/cli/score.py

目录

1. 对机器翻译输出进行评分
   1. CLI 使用方法
      1. 基本评分命令
      2. 无参考评估
      3. 比较多个系统
      4. 最小贝叶斯风险解码
2. COMET 模型
   1. 解读评分
   2. 覆盖的语言
   3. 面向非洲语言的 COMET
   4. 在 Python 中评分
   5. 解释翻译错误
3. 训练您自己的指标
4. 单元测试
5. 出版物

对机器翻译输出进行评分：

CLI 使用方法：

测试示例：

echo -e "10 到 15 分钟可以送到吗\nPode ser entregue dentro de 10 a 15 minutos?" >> src.txt
echo -e "Can I receive my food in 10 to 15 minutes?\nCan it be delivered in 10 to 15 minutes?" >> hyp1.txt
echo -e "Can it be delivered within 10 to 15 minutes?\nCan you send it for 10 to 15 minutes?" >> hyp2.txt
echo -e "Can it be delivered between 10 to 15 minutes?\nCan it be delivered between 10 to 15 minutes?" >> ref.txt

基本评分命令：

comet-score -s src.txt -t hyp1.txt -r ref.txt

您可以使用 --gpus 参数设置 GPU 数量（设为 0 可在 CPU 上测试）。

为了更好地分析错误，您可以使用 XCOMET 模型，例如 Unbabel/XCOMET-XL，并使用 --to_json 标志导出识别出的错误：

comet-score -s src.txt -t hyp1.txt -r ref.txt --model Unbabel/XCOMET-XL --to_json output.json

对多个系统进行评分：

comet-score -s src.txt -t hyp1.txt hyp2.txt -r ref.txt

通过 SacreBLEU 提供的 WMT 测试集：

comet-score -d wmt22:en-de -t PATH/TO/TRANSLATIONS

带上下文的评分：

echo -e "用这样的苹果做的馅饼。</s> 哦，它们看起来真美味。\n哦，它们看起来真美味。" >> src.txt
echo -e "用这样的苹果做的馅饼。</s> 它们看起来很美味。\n它们看起来很美味。" >> hyp1.txt
echo -e "用这样的苹果做的馅饼。</s> 他们看起来很美味。\n他们看起来很美味。" >> hyp2.txt

其中 </s> 是底层模型所使用的特定分词器（此处为 xlm-roberta-large）的分隔符标记。

comet-score -s src.txt -t hyp1.txt hyp2.txt --model Unbabel/wmt20-comet-qe-da --enable-context

如果您只关心系统级别的评分，可以使用以下命令：

comet-score -s src.txt -t hyp1.txt -r ref.txt --quiet --only_system

无参考评估：

comet-score -s src.txt -t hyp1.txt --model Unbabel/wmt22-cometkiwi-da

注意： 若要使用 Unbabel/wmt23-cometkiwi-da-xl，您需要先在 Hugging Face Hub 上确认其许可证。

比较多个系统：

在比较多个机器翻译系统时，我们建议您运行 comet-compare 命令，以通过配对 t 检验和自助重采样获得 统计显著性 (Koehn, et al 2004)。

comet-compare -s src.de -t hyp1.en hyp2.en hyp3.en -r ref.en

最小贝叶斯风险解码：

MBR 命令允许您根据 COMET 指标对译文进行排序，并选择最佳译文。更多详情请参阅我们的论文《面向神经机器翻译的质量感知解码》链接。

comet-mbr -s [SOURCE].txt -t [MT_SAMPLES].txt --num_sample [X] -o [OUTPUT_FILE].txt

如果候选列表非常庞大，您可以使用 --rerank_top_k 标志，根据无参考指标筛选出最有可能的前 K 个候选。

例如，针对 1000 个样本的候选列表：

comet-mbr -s [SOURCE].txt -t [MT_SAMPLES].txt -o [OUTPUT_FILE].txt --num_sample 1000 --rerank_top_k 100 --gpus 4 --qe_model Unbabel/wmt23-cometkiwi-da-xl

您的源文件和样本文件应按照如下方式格式化：链接.

COMET 模型

在 COMET 中，有多种评估模型可供使用。您可以参考 MODELS 页面，以获取所有可用模型的完整列表。以下是主要的基于参考和无参考模型的简要列表：

• 默认模型： Unbabel/wmt22-comet-da - 该模型采用基于参考的回归方法，基于 XLM-R 架构构建。它使用 WMT17 至 WMT20 的直接评分进行训练，输出分数范围为 0 到 1，其中 1 表示完美翻译。
• 无参考模型： Unbabel/wmt22-cometkiwi-da - 这种无参考模型同样采用回归方法，基于 InfoXLM 构建。它使用 WMT17 至 WMT20 的直接评分以及 MLQE-PE 语料库中的直接评分进行训练。与其他模型类似，其输出分数范围也是 0 到 1。对于有兴趣的用户，我们还提供了该模型的更大版本：参数量为 35 亿的 Unbabel/wmt23-cometkiwi-da-xl，以及参数量为 107 亿的 Unbabel/wmt23-cometkiwi-da-xxl。
• 可解释的 COMET（XCOMET）： Unbabel/XCOMET-XXL - 我们的最新模型经过训练，能够识别错误片段并给出最终质量得分，从而生成一种可解释的神经网络指标。我们提供 XXL 版本（参数量为 107 亿）以及 XL 版本（参数量为 35 亿）（Unbabel/XCOMET-XL）。这些模型与 MQM 的相关性最高，是我们表现最佳的评估模型。

请注意，不同模型可能适用不同的许可证。如需了解更多信息，请参阅 LICENSES.models 和各模型的许可证部分。

如果您希望将结果与 2022 年之前发表的论文进行比较，很可能他们使用的是较旧的评估模型。在这种情况下，请参考 Unbabel/wmt20-comet-da 和 Unbabel/wmt20-comet-qe-da，它们是 COMET 早期版本（<2.0）中使用的主检查点。

此外，由澳门大学 NLP2CT 实验室和阿里巴巴集团开发的 UniTE Metric 可以通过 COMET 直接使用，详情请见此处。

分数解读：

新增： 学习如何解读机器翻译指标的绝佳参考资料是 Kocmi 等人于 2024 年发表的分析论文，请点击此链接查看。

在使用 COMET 评估机器翻译时，理解其输出分数的含义非常重要。

一般来说，COMET 模型被训练用来预测翻译的质量得分。这些得分通常会通过 z 分数转换进行归一化处理，以考虑标注者之间的个体差异。虽然原始得分本身没有直接的解释意义，但它可以用于根据质量对翻译和系统进行排名。

然而，自 2022 年起，我们引入了一种新的训练方法，将分数缩放到 0 到 1 之间。这使得分数更容易解读：接近 1 的分数表示高质量的翻译，而接近 0 的分数则表示翻译质量与随机猜测无异。此外，随着 XCOMET 模型的推出，我们现在可以根据 MQM 类型学分析哪些文本片段属于轻微、严重或关键错误。

值得注意的是，在使用 COMET 比较两个不同翻译系统的表现时，务必运行 comet-compare 命令来获得统计显著性度量。该命令通过统计假设检验比较两个系统的输出，从而估算观察到的系统间分数差异是由偶然因素导致的概率。这是确保系统间分数差异具有统计显著性的关键步骤。

总体而言，最新 COMET 模型在分数可解释性方面的提升，结合使用 comet-compare 对系统间统计显著性进行评估的能力，使 COMET 成为评估机器翻译的宝贵工具。

支持的语言：

上述所有模型均基于 XLM-R（变体）构建，支持以下语言：

南非语、阿尔巴尼亚语、阿姆哈拉语、阿拉伯语、亚美尼亚语、阿萨姆语、阿塞拜疆语、巴斯克语、白俄罗斯语、孟加拉语、罗马化孟加拉语、波斯尼亚语、布列塔尼语、保加利亚语、缅甸语、加泰罗尼亚语、简体中文、繁体中文、克罗地亚语、捷克语、丹麦语、荷兰语、英语、世界语、爱沙尼亚语、菲律宾语、芬兰语、法语、加利西亚语、格鲁吉亚语、德语、希腊语、古吉拉特语、豪萨语、希伯来语、印地语、罗马化印地语、匈牙利语、冰岛语、印尼语、爱尔兰语、意大利语、日语、爪哇语、卡纳达语、哈萨克语、高棉语、韩语、库尔德语（库尔曼吉）、吉尔吉斯语、老挝语、拉丁语、拉脱维亚语、立陶宛语、马其顿语、马达加斯加语、马来语、马拉雅拉姆语、马拉地语、蒙古语、尼泊尔语、挪威语、奥里亚语、奥罗莫语、普什图语、波斯语、波兰语、葡萄牙语、旁遮普语、罗马尼亚语、俄语、梵语、苏格兰盖尔语、塞尔维亚语、信德语、僧伽罗语、斯洛伐克语、斯洛文尼亚语、索马里语、西班牙语、巽他语、斯瓦希里语、瑞典语、泰米尔语、罗马化泰米尔语、泰卢固语、罗马化泰卢固语、泰语、土耳其语、乌克兰语、乌尔都语、罗马化乌尔都语、维吾尔语、乌兹别克语、越南语、威尔士语、西弗里斯兰语、科萨语、意第绪语。

因此，包含未覆盖语言的语言对的结果不可靠！

非洲语言的 COMET：

如果您对非洲语言的 COMET 指标感兴趣，请访问 afriCOMET。

在 Python 中进行评分：

from comet import download_model, load_from_checkpoint

# 从 Hugging Face Hub 选择您的模型
model_path = download_model("Unbabel/XCOMET-XL")
# 或例如：
# model_path = download_model("Unbabel/wmt22-comet-da")

# 加载模型检查点：
model = load_from_checkpoint(model_path)

# 数据必须采用以下格式：
data = [
    {
        "src": "10 到 15 分钟可以送到吗",
        "mt": "Can I receive my food in 10 to 15 minutes?",
        "ref": "Can it be delivered between 10 to 15 minutes?"
    },
    {
        "src": "Pode ser entregue dentro de 10 a 15 minutos?",
        "mt": "Can you send it for 10 to 15 minutes?",
        "ref": "Can it be delivered between 10 to 15 minutes?"
    }
]
# 调用 predict 方法：
model_output = model.predict(data, batch_size=8, gpus=1)

输出结果如下：

# 句子级分数（列表）
>>> model_output.scores
[0.9822099208831787, 0.9599897861480713]

# 系统级评分（浮点数）
>>> model_output.system_score
0.971099853515625

# 检测到的错误片段（列表，嵌套字典列表）
>>> model_output.metadata.error_spans
[
  [{'confidence': 0.4160953164100647,
   'end': 21,
   'severity': 'minor',
   'start': 13,
   'text': 'my food'}],
  [{'confidence': 0.40004390478134155,
   'end': 19,
   'severity': 'minor',
   'start': 3,
   'text': 'you send it for'}]
]

不过，请注意，并非所有 COMET 模型都会返回包含检测到的错误片段的元数据。

解释翻译错误：

请查看这个笔记本，其中提供了一个最小示例，说明如何将 xCOMET 与 xTower 结合使用，为每个错误片段生成自然语言解释。

对于上述葡萄牙语-英语示例，我们将使用以下提示调用 xTower：

您将获得源文本、译文、译文质量分析以及译文质量评分（弱、中、好、优、最佳）。译文质量分析包含带有标记错误片段的译文，这些片段具有不同程度的严重性（轻微或严重）。根据这些信息，为每个错误生成解释，并给出完全正确的译文。

葡萄牙语原文：Pode ser entregue dentro de 10 a 15 minutos?
英语译文：Can you send it for 10 to 15 minutes?
译文质量分析：Can <error1 severity='minor'>you send it for</error1> 10 to 15 minutes?
译文质量评分：优秀

输出结果如下：

错误1解释：短语“Can you send it for 10 to 15 minutes?”是对原葡萄牙语句子的误译。正确的理解应关注送达时间，而非发送所需的时间。原句询问的是送达时间，而不是发送所需的时间。
译文修正：Can it be delivered within 10 to 15 minutes?

更多信息请参阅xTower 文档。

训练您自己的指标：

除了使用预训练模型外，您还可以通过以下命令训练自己的模型：

comet-train --cfg configs/models/{your_model_config}.yaml

之后，您可以使用自定义指标进行评分：

comet-score -s src.de -t hyp1.en -r ref.en --model PATH/TO/CHECKPOINT

此外，您还可以将模型上传至Hugging Face Hub。以Unbabel/wmt22-comet-da为例，随后即可直接从 Hub 上使用您的模型。

单元测试：

要运行工具包的测试，您需要执行以下命令：

poetry run coverage run --source=comet -m unittest discover
poetry run coverage report -m # 预期覆盖率 76%

注意： 在 CPU 上运行测试耗时较长。

出版物

如果您使用 COMET，请务必引用我们的工作，并且不要忘记说明您所使用的模型！

• xCOMET：通过细粒度错误检测实现透明的机器翻译评估

• 扩展 CometKiwi：Unbabel-IST 2023 年质量评估共享任务提交

• CometKiwi：IST-Unbabel 2022 年质量评估共享任务提交

• COMET-22：Unbabel-IST 2022 年指标共享任务提交

• 寻找小彗星：那个不起眼却大有可为的指标

• 真的需要参考译文吗？Unbabel-IST 2021 年指标共享任务提交

• 基于不确定性的机器翻译评估

• COMET：在生产环境中部署一种新的最先进 MT 评估指标

• Unbabel 参与 WMT20 指标共享任务

• COMET：用于 MT 评估的神经网络框架

COMET 快速上手指南

COMET 是一个基于神经网络的机器翻译（MT）评估工具，支持有参考（Reference-based）和无参考（Reference-free）的质量评分，并能通过 XCOMET 模型定位翻译错误。

环境准备

• 操作系统：Linux, macOS, Windows (WSL 推荐)
• Python 版本：3.8 或更高
• 硬件要求：
  • CPU：可用于基础推理，但速度较慢。
  • GPU：推荐使用 NVIDIA GPU 以加速大规模评估（需安装对应的 CUDA 版本）。
• 前置依赖：
  • 确保 pip 为最新版本。
  • 若使用部分特定模型（如 Unbabel/wmt22-cometkiwi-da），需先在 Hugging Face Hub 接受协议并登录。

安装步骤

1. 基础安装

通过 PyPI 直接安装（国内用户可添加清华或阿里镜像源加速）：

pip install --upgrade pip
pip install unbabel-comet -i https://pypi.tuna.tsinghua.edu.cn/simple

2. Hugging Face 登录（可选但推荐）

若需使用受保护的模型（如 CometKiwi 系列），请先登录：

huggingface-cli login

按提示输入您的 Hugging Face Access Token。

3. 开发模式安装（可选）

如需修改源码或运行 CLI 开发工具：

git clone https://github.com/Unbabel/COMET
cd COMET
pip install poetry
poetry install

基本使用

1. 准备数据文件

COMET 需要源语言文件 (src)、假设译文文件 (hyp) 和参考译文文件 (ref)。每行对应一个句子。

创建测试文件示例：

echo -e "10 到 15 分钟可以送到吗\nPode ser entregue dentro de 10 a 15 minutos?" >> src.txt
echo -e "Can I receive my food in 10 to 15 minutes?\nCan it be delivered in 10 to 15 minutes?" >> hyp1.txt
echo -e "Can it be delivered within 10 to 15 minutes?\nCan you send it for 10 to 15 minutes?" >> ref.txt

2. 执行评分命令

场景 A：有参考评分 (默认)

使用默认的 WMT22 模型进行评分：

comet-score -s src.txt -t hyp1.txt -r ref.txt

注：可通过 --gpus 0 强制使用 CPU，或设置具体 GPU 数量。

场景 B：无参考评分 (Quality Estimation)

当没有参考译文时，使用 CometKiwi 模型：

comet-score -s src.txt -t hyp1.txt --model Unbabel/wmt22-cometkiwi-da

场景 C：错误分析与解释 (XCOMET)

使用 XCOMET 模型识别错误类型（轻微、严重、致命）并输出 JSON 报告：

comet-score -s src.txt -t hyp1.txt -r ref.txt --model Unbabel/XCOMET-XL --to_json output.json

3. 多系统对比与显著性检验

比较多个翻译系统的输出，并进行统计显著性测试（Paired T-Test）：

comet-compare -s src.txt -t hyp1.txt hyp2.txt hyp3.en -r ref.txt

4. 在 Python 代码中使用

除了命令行，您也可以直接在 Python 脚本中调用：

from comet import download_model, load_from_checkpoint

# 下载并加载模型
model_path = download_model("Unbabel/wmt22-comet-da")
model = load_from_checkpoint(model_path)

# 准备数据
data = [
    {
        "src": "10 到 15 分钟可以送到吗",
        "mt": "Can I receive my food in 10 to 15 minutes?",
        "ref": "Can it be delivered within 10 to 15 minutes?"
    }
]

# 获取评分
model_output = model.predict(data, batch_size=8, gpus=1)
print(model_output.scores)

分数解读

• 0 ~ 1 范围：新版模型（2022 年后训练）输出归一化分数。1 代表完美翻译，0 代表随机水平。
• 统计显著性：若需发表论文或严谨对比系统差异，请务必使用 comet-compare 命令获取 P 值，而非仅比较平均分。