1. 概述
2. 快速开始
3. 排行榜及如何解读
   • 模型
   • 评估器
4. 使用场景
   • 评估模型
   • 制作新排行榜
   • 制作新评估器
5. 贡献
   • 贡献模型
   • 贡献评估器
   • 贡献评估集
   • 贡献补全函数
6. 局限性
7. 分析
   • 长度控制 AlpacaEval
   • 分析评估器
   • 分析评估集
8. 引用
9. 附加信息
   • 长度控制胜率
   • AlpacaEval 2.0
   • 数据发布
   • 与 AlpacaFarm 的区别
   • 相关工作
   • 解读标注
   • 重大更新

何时使用 AlpacaEval？ 我们的自动评估器是简单指令遵循任务的人工评估的快速且廉价的代理。如果您需要快速运行大量评估，例如在模型开发期间，它非常有用。

何时不使用 AlpacaEval？ 像任何其他自动评估器一样，AlpacaEval 不应取代高风险决策中的人工评估，例如决定模型发布。特别是，AlpacaEval 受限于以下事实：(1) 评估集中的指令可能无法代表 LLM 的高级使用；(2) 自动评估器可能存在偏见，例如偏好回答的风格而非事实准确性；以及 (3) AlpacaEval 不衡量模型可能造成的风险。详情见 局限性。

SYNOPSIS
    alpaca_eval COMMAND

COMMANDS
    COMMAND is one of the following:

     evaluate
       Evaluate a model based on its outputs. This is the default entrypoint if no command is specified.

     evaluate_from_model
       Evaluate a model from HuggingFace or an API provider. This is a wrapper around `evaluate` which includes generating from a desired model.

     make_leaderboard
       Precompute and save an entire leaderboard for a given dataset / evaluator / set of models generations.

     analyze_evaluators
       Analyze an evaluator and populates the evaluators leaderboard (agreement with human, speed, price,...).

胜率（Win Rate）：胜率衡量的是模型输出优于参考输出的频率（AlpacaEval 中为 test-davinci-003，AlpacaEval 2.0 中为 gpt4_turbo）。 更具体地说，为了计算胜率，我们从 AlpacaEval 数据集中收集目标模型在每个指令上的输出对。 然后我们将每个输出与参考模型（例如 text-davinci-003）在同一指令上的输出配对。 然后我们询问自动评估器它们更喜欢哪个输出。 请参阅 AlpacaEval 的 和 AlpacaEval 2.0 的 提示词（prompts）和配置，特别是我们会随机化输出的顺序以避免位置偏差。 然后我们对数据集中所有指令的偏好进行平均，以获得模型相对于基线（baseline）的胜率。 如果两个输出完全相同，我们为两个模型各计一半偏好。

标准误（Standard error）：这是胜率的标准误（以 N-1 归一化），即跨不同指令的平均偏好。

我们的 alpaca_eval_gpt4（见 配置）标注器会对偏好取平均，其中偏好获取方式如下：

1. 它接收一个指令和一对输出（来自目标模型和参考模型）
2. 如果该三元组（triple）的偏好已计算过，则返回它（即使用缓存）
3. 它随机化输出的顺序以避免位置偏差
4. 它将指令和输出格式化为 以下零样本提示词（zero-shot prompt），要求按偏好顺序排列输出
5. 它使用 temperature=0 通过 GPT4 完成提示词
6. 它从补全结果中解析偏好并返回

该标注器是 AlpacaFarm 和 Aviary 评估器的混合体（并深受其影响）。 特别是，我们使用了与 AlpacaFarm 相同的代码（缓存/随机化/超参数），但使用了类似于 Aviary 的排序提示词。 我们对 Aviary 的提示词进行了修改，以减少对较长输出的偏差。 详情见 相关工作。

对于 AlpacaEval 2.0，我们使用 weighted_alpaca_eval_gpt4_turbo，它使用 logprobs（对数概率）来计算连续偏好，并使用 GPT4_turbo 作为模型（见 配置）。

我们现在用文字说明如何计算上表中的指标。代码在此处。

人类一致性：这衡量了当前标注者与来自我们 交叉标注集 的约 650 条标注中人类多数偏好之间的一致性，该数据集每个示例包含 4 条人工标注。 为了估计单个标注者（上表中 humans 行）与人类多数之间的一致性，我们选取 4 条标注中的一条，并计算其在预测其余 3 条标注的众数 (mode) 时的准确率。 然后，我们在所有 4 条标注和 650 个指令上平均此准确率以获得人类一致性，即，我们计算期望（在人类和样本上）的留一法 (leave-one-out) 一致性。 如果众数不唯一，我们随机选择一个众数。 我们对自动标注器执行完全相同的计算，以便最终数字具有可比性。

价格 [$/1000 示例]：这是每 1000 次标注的平均价格。 对于人类，这是我们支付给 Mechanical Turkers (众包工人) 以收集这些标注的价格（每小时 21 美元）。 如果价格取决于用于计算标注的机器（例如 Guanaco），我们将其留空。

时间 [秒/1000 示例]：这是计算 1000 次标注所需的平均时间。 对于人类，这是每位 Mechanical Turker (众包工人) 标注 1000 个示例所花费的中位时间的估计值。 对于自动标注器，这是我们运行标注时花费的平均时间。请注意，这可能取决于不同用户不同的 API 限制以及集群正在处理的请求数量。

Spearman 相关系数：这衡量了使用自动标注器偏好计算的排行榜与使用人类偏好计算的排行榜之间的 Spearman 相关性 (Spearman correlation)。与人类一致性一样，我们使用来自 AlpacaFarm 的人工标注，但现在我们考虑的是方法级别的一致性，而不仅仅是与样本层面的一致性。请注意，我们仅使用了 9 个模型，因此相关性不太可靠。

Pearson 相关系数：与 Spearman 相关系数相同，但使用 Pearson 相关性 (Pearson correlation)。

偏差：最可能的人类标签与最可能的自动标签之间的一致性。 对于自动标注器，我们通过为每个示例采样 4 条不同的标注来估计它。 这里的随机性来自于提示词 (prompt) 中输出的顺序、从 LLM (大语言模型) 采样，以及如果适用的话，批次中指令的顺序和池中标注器的选择。 然后，我们取这 4 条标注的众数，并计算该众数在预测 4 条人类标注的众数时的准确率。 请注意，这可能是如果我们拥有“无限”数量的交叉标注时会得到的真实偏差的高估。 低偏差意味着标注者在期望上与人类具有相同的偏好。 对于人类的情况，根据定义偏差为零。 请注意，这与标准统计偏差相关但不等同，因为我们取众数而不是对标注求平均，并且我们考虑 0-1 损失 (0-1 loss) 而不是平方损失 (squared loss)。

Variance (方差)：单个自动偏好与最可能偏好之间的预期一致性。 我们估算它的方式与估算人类的"人类一致性 (human agreement)"相同，即，在使用第 4 个标注预测 3 个标注的众数 (mode) 时，取留一法 (leave one out) 误差的期望值。 低方差意味着标注器 (annotator) 与其自身偏好一致，即，如果你用不同的种子 (seeds) 从它采样，它会给出相同的结果。 与偏差 (bias) 类似，这并非标准的统计方差，因为我们取的是标注的众数而非平均值，并且考虑的是 0-1 损失而非平方损失。

请注意，"人类一致性 (human agreement)"与偏差和方差密切相关。特别是，方差衡量了由于我们仅使用单个标注而产生的误差，而偏差旨在衡量当前标注器的不可约误差。

Proba. prefer longer (偏好更长概率)：当两个输出中一个显著长于另一个（超过 30 个字符差异）时，标注器偏好较长输出的概率。

在 完整表格 中，我们还提供了以下指标：

Proba. prefer lists (偏好列表概率)：当一个输出包含列表/项目符号而另一个不包含时，标注器偏好包含该输出的概率。

Proba. prefer 1 (偏好第一个概率)：标注器偏好成对输出中第一个的概率。我们提出的所有标注器在提示词 (prompt) 中对输出进行了随机化，因此这应该是 0.5。先前的标注器，如 lmsys 和 aviary，则不是这样。

# parsed (解析数量)：这是标注器能够解析的示例数量。

请注意，如果方差和偏差为空，这意味着由于资源（时间和价格）限制，每个 648 个示例仅执行了一次单次标注。这解释了为什么 #parsed 是 648，否则它应该是 2592。

总体而言，如果您希望与人类高度一致，建议使用 annotators_config=weighted_alpaca_eval_gpt4_turbo；如果您预算紧张，建议使用 annotators_config=chatgpt_fn。

在选择标注器时，我们建议您考虑以下几点（前三点显而易见）：

• "人类一致性 (%)"
• "价格 [$/1000 个示例]"
• "时间 [秒/1000 个示例]"
• "* 相关性 (* corr.)" 约 > 0.7。相关性不宜过低很重要，但我们不建议将其作为主要指标，因为相关性仅基于 9 个模型计算。
• "Proba. prefer longer (偏好更长概率)" 约 < 0.7。确实，我们发现大多数人类标注者的偏好都强烈偏向更长的答案（正如始终偏好最长输出的 "longest" 评估器的 performance=62.2 所示）。这表明这可能是人类标注者的一种偏差。为了避免排行榜出现强烈的长度偏差，我们建议使用“偏好更长概率”低于 0.7 的自动标注器。
• "Variance (方差)" 约 < 0.2。我们相信一个好的评估器 (evaluator) 应尽可能少方差，以便结果主要是可复现的。注意，在模拟人类的情况下（如 AlpacaFarm 所示），方差可能是可取的。

我们在上表中过滤了不满足这些要求的标注器（除了用于参考目的的人类 / ChatGPT / 003 / lmsys）。查看所有结果请参见 此处。 总体而言，我们发现 weighted_alpaca_eval_gpt4_turbo 在质量/价格/时间/方差/长度偏差之间是一个很好的权衡。

NAME
    alpaca_eval evaluate - Evaluate a model based on its outputs. This is the default entrypoint if no command is specified.

SYNOPSIS
    alpaca_eval evaluate <flags>

DESCRIPTION
    Evaluate a model based on its outputs. This is the default entrypoint if no command is specified.

标志位 --model_outputs=MODEL_OUTPUTS 类型：Optional[Union] 默认值：None 要添加到排行榜的模型输出。接受数据（字典列表、pd.dataframe、datasets.Dataset）或读取这些数据的路径（json, csv, tsv）或生成这些数据的函数。每个字典（或 DataFrame 的行）应包含在提示词中格式化的键。例如默认情况下为 instruction 和 output，可选 input。如果为 None，我们仅打印排行榜。 -r, --reference_outputs=REFERENCE_OUTPUTS 类型：Union 默认值：<func... 参考模型的输出。与 model_outputs 格式相同。如果为 None，参考输出是 AlpacaEval 集上的一组特定 Davinci 003 输出： --annotators_config=ANNOTATORS_CONFIG 类型：Union 默认值：'alpaca_eval_gpt4_turbo_fn' 标注器配置文件的路径（或字典列表）。详情见 PairwiseAnnotator 的文档字符串。 -n, --name=NAME 类型：Optional[Optional] 默认值：None 要添加到排行榜的模型名称。如果为 None，我们检查 generator 是否在 model_outputs 中，否则使用 "Current model"。 -o, --output_path=OUTPUT_PATH 类型：Union 默认值：'auto' 存储新排行榜和标注结果的目录路径。如果为 None，我们不保存。如果为 auto，如果 model_outputs 是路径则使用它，否则使用调用脚本的目录。 -p, --precomputed_leaderboard=PRECOMPUTED_LEADERBOARD 类型：Union 默认值：'auto' 预计算的排行榜或其路径（json, csv, 或 tsv）。排行榜应至少包含列 win_rate。如果为 auto，我们将尝试使用对应于参考输出的排行榜（仅在 CORRESPONDING_OUTPUTS_LEADERBOARDS 中存在时）。如果为 None，我们不会添加排行榜中的其他模型。 --is_overwrite_leaderboard=IS_OVERWRITE_LEADERBOARD 类型：bool 默认值：False 如果模型已在排行榜中，是否覆盖排行榜。 -l, --leaderboard_mode_to_print=LEADERBOARD_MODE_TO_PRINT 类型：Optional 默认值：'minimal' 使用的排行榜模式。仅当预计算排行榜有 mode 列时使用，此时将按此模式过滤排行榜。如果为 None，保留所有。 -c, --current_leaderboard_mode=CURRENT_LEADERBOARD_MODE 类型：str 默认值：'community' 当前方法的排行榜模式。 --is_return_instead_of_print=IS_RETURN_INSTEAD_OF_PRINT 类型：bool 默认值：False 是否返回指标而不是打印结果。 -f, --fn_metric=FN_METRIC 类型：Union 默认值：'pairwise_to_winrate' metrics.py 中将偏好转换为指标的函数或函数名。该函数应接受一个偏好序列（0 表示平局，1 表示基础模型获胜，2 表示要比较的模型获胜）并返回一个指标字典以及用于排序排行榜的键。 -s, --sort_by=SORT_BY 类型：str 默认值：'win_rate' 用于排序排行榜的键。 --is_cache_leaderboard=IS_CACHE_LEADERBOARD 类型：Optional[Optional] 默认值：None 是否将结果排行榜保存到 precomputed_leaderboard。如果为 None，仅当 max_instances 不为 None 时保存。向排行榜添加模型的首选方法是将 precomputed_leaderboard 设置为之前保存在 <output_path>/leaderboard.csv 的排行榜。 --max_instances=MAX_INSTANCES 类型：Optional[Optional] 默认值：None 要标注的最大实例数。用于测试。 --annotation_kwargs=ANNOTATION_KWARGS 类型：Optional[Optional] 默认值：None 传递给 PairwiseAnnotator.annotate_head2head 的其他参数。 -A, --Annotator=ANNOTATOR 默认值：<class 'alpaca_eval.annotators.pairwise_evaluator.PairwiseAn... 要使用的标注器类。 接受额外的标志。 传递给 PairwiseAnnotator 的其他参数。

</details>

<details>
  <summary><code>>>> alpaca_eval evaluate_from_model -- --help</code></summary>

名称 alpaca_eval evaluate_from_model - 评估来自 HuggingFace 或 API 提供商的模型。这是 evaluate 的包装器，包括从所需模型生成内容。

概要 alpaca_eval evaluate_from_model MODEL_CONFIGS <标志>

描述 评估来自 HuggingFace 或 API 提供商的模型。这是 evaluate 的包装器，包括从所需模型生成内容。

位置参数 MODEL_CONFIGS 类型：Union 字典或路径（相对于 models_configs），指向包含解码模型配置的 yaml 文件。如果是目录，我们在其中搜索 'configs.yaml'。第一个字典中的键应为生成器的名称，值应为生成器配置的字典，该配置应具有

标志 -r, --reference_model_configs=REFERENCE_MODEL_CONFIGS 类型：Optional[Union] 默认值：None 与 model_configs 相同，但用于参考模型。如果为 None，我们使用默认的 Davinci003 输出。 -e, --evaluation_dataset=EVALUATION_DATASET 类型：Union 默认值：<func... 评估数据集的路径或返回 DataFrame 的函数。如果为 None，我们使用默认的评估 -a, --annotators_config=ANNOTATORS_CONFIG 类型：Union 默认值：'alpaca_eval_gpt4_turbo_fn' 标注器配置的路径或字典。如果为 None，我们使用默认的标注器配置。 -o, --output_path=OUTPUT_PATH 类型：Union 默认值：'auto' 保存生成内容、标注和排行榜的路径。如果 auto 则保存在 results/<model_name> -m, --max_instances=MAX_INSTANCES 类型：Optional[int] 默认值：None 生成和评估的最大实例数。如果为 None，我们评估所有实例。 --is_strip_output=IS_STRIP_OUTPUT 类型：bool 默认值：True 是否去除输出尾部及首部的空白字符。 --is_load_outputs=IS_LOAD_OUTPUTS 类型：bool 默认值：True 是否尝试从输出路径加载输出。如果为 True 且输出存在，我们仅为尚未有输出的指令生成输出。 -c, --chunksize=CHUNKSIZE 类型：int 默认值：64 保存前生成的实例数。如果为 None，在所有生成完成后保存。 接受额外的标志。 传递给 evaluate 的其他关键字参数

备注 您也可以对位置参数使用标志语法

</details>

要评估模型，您需要：

1. 选择一个评估集并计算指定的 `model_outputs`（模型输出）。默认情况下，我们使用来自 [AlpacaEval](#data-release) 的 805 个示例。要在 AlpacaEval 上计算输出，请使用：

```python
import datasets

eval_set = datasets.load_dataset("tatsu-lab/alpaca_eval", "alpaca_eval")["eval"]
for example in eval_set:
    # generate here is a placeholder for your models generations
    example["output"] = generate(example["instruction"])
    example["generator"] = "my_model" # name of your model

如果您的模型是 HuggingFace 模型或来自标准 API 提供商（OpenAI, Anthropic, Cohere），那么您可以直接使用 alpaca_eval evaluate_from_model 来处理生成输出的任务。

2. 计算参考输出 reference_outputs（参考输出）。默认情况下，我们使用 gpt4_turbo 在 AlpacaEval 上的预计算输出。 如果您想使用不同的模型或不同的数据集，请遵循与 (1.) 相同的步骤。
3. 通过 annotators_config（标注器配置）指定一个评估器。我们推荐使用 alpaca_eval_gpt4_turbo_fn。对于其他选项和比较，请参阅 此表。根据评估器的不同，您可能需要在环境中设置适当的 API_KEY，或者在 client_configs 中设置。

一起运行：

alpaca_eval --model_outputs 'example/outputs.json' \
  --annotators_config 'alpaca_eval_gpt4_turbo_fn'

如果您没有解码后的输出，可以使用 evaluate_from_model，它将为您处理解码（模型和参考）工作。 这是一个示例：

# need a GPU for local models
alpaca_eval evaluate_from_model \
  --model_configs 'oasst_pythia_12b' \
  --annotators_config 'alpaca_eval_gpt4_turbo_fn'      

这里 model_configs 和 reference_model_configs（可选）是指定 prompt（提示词）、模型提供商（此处为 HuggingFace）和解码参数的目录路径。 示例请参阅 此目录。 对于所有开箱即用的模型提供商，请参阅 此处。

NAME
    alpaca_eval make_leaderboard - Precompute and save an entire leaderboard for a given dataset / evaluator / set of models generations.

SYNOPSIS
    alpaca_eval make_leaderboard <flags>

DESCRIPTION
    Precompute and save an entire leaderboard for a given dataset / evaluator / set of models generations.

FLAGS
    --leaderboard_path=LEADERBOARD_PATH
        Type: Optional[Union]
        Default: None
        The path to save the leaderboard to. The leaderboard will be saved as a csv file, if it already exists it will
    --annotators_config=ANNOTATORS_CONFIG
        Type: Union
        Default: 'alpaca_eval_gpt4_turbo_fn'
        The path the (or list of dict of) the annotator's config file.
    --all_model_outputs=ALL_MODEL_OUTPUTS
        Type: Union
        Default: <fu...
        The outputs of all models to add to the leaderboard. Accepts data (list of dictionary, pd.dataframe, datasets.Dataset) or a path to read those (json, csv, tsv potentially with globbing) or a function to generate those. If the path contains a globbing pattern, we will read all files matching the pattern and concatenate them. Each dictionary (or row of dataframe) should contain the keys that are formatted in the prompts. E.g. by default `instruction` and `output` with optional `input`. It should also contain a column `generator` with the name of the current model.
    -r, --reference_outputs=REFERENCE_OUTPUTS
        Type: Union
        Default: <func...
        The outputs of the reference model. Same format as `all_model_outputs` but without needing `generator`. By default, the reference outputs are the 003 outputs on AlpacaEval set.
    -f, --fn_add_to_leaderboard=FN_ADD_TO_LEADERBOARD
        Type: Callable
        Default: 'evaluate'
        The function to use to add a model to the leaderboard. If a string, it should be the name of a function in `main.py`. The function should take the arguments: `model_outputs`, `annotators_config`, `name`, `precomputed_leaderboard`, `is_return_instead_of_print`, `reference_outputs`.
    --leaderboard_mode=LEADERBOARD_MODE
        Type: str
        Default: 'verified'
        The mode of the leaderboard to save all new entries with.
    -i, --is_return_instead_of_print=IS_RETURN_INSTEAD_OF_PRINT
        Type: bool
        Default: False
        Whether to return the metrics instead of printing the results.
    Additional flags are accepted.
        Additional arguments to pass to `fn_add_to_leaderboard`.

alpaca_eval make_leaderboard \
  --leaderboard_path <path_to_save_leaderboard> \
  --all_model_outputs <model_outputs_path> \
  --reference_outputs <reference_outputs_path> \
  --annotators_config <path_to_config.yaml>

NAME
    alpaca_eval analyze_evaluators - Analyze an evaluator and populates the evaluators leaderboard (agreement with human, speed, price,...).

SYNOPSIS
    alpaca_eval analyze_evaluators <flags>

DESCRIPTION
    Analyze an evaluator and populates the evaluators leaderboard (agreement with human, speed, price,...).

FLAGS
    --annotators_config=ANNOTATORS_CONFIG
        Type: Union
        Default: 'alpaca_eval_gpt4_turbo_fn'
        The path the (or list of dict of) the annotator's config file.
    -A, --Annotator=ANNOTATOR
        Default: <class 'alpaca_eval.annotators.pairwise_evaluator.PairwiseAn...
        The annotator class to use.
    --analyzer_kwargs=ANALYZER_KWARGS
        Type: Optional[Optional]
        Default: None
        Additional arguments to pass to the analyzer.
    -p, --precomputed_leaderboard=PRECOMPUTED_LEADERBOARD
        Type: Union
        Default: PosixPath('/Users/yanndubois/Desktop/GitHub/alpaca_eval/src/...
        The precomputed (meta)leaderboard of annotators or a path to it (json, csv, or tsv).
    --is_save_leaderboard=IS_SAVE_LEADERBOARD
        Type: bool
        Default: False
        Whether to save the leaderboard (ie analyzed results).
    --is_return_instead_of_print=IS_RETURN_INSTEAD_OF_PRINT
        Type: bool
        Default: False
        Whether to return the leaderboard (ie analyzed results). If True, it will not print the results.
    --is_overwrite_leaderboard=IS_OVERWRITE_LEADERBOARD
        Type: bool
        Default: False
        Whether to overwrite the leaderboard if it already exists.
    -m, --max_instances=MAX_INSTANCES
        Type: Optional[Optional]
        Default: None
        The maximum number of instances to analyze.
    --is_single_annotator=IS_SINGLE_ANNOTATOR
        Type: bool
        Default: False
        Whether to analyze a single annotator. If True, will not be able to estimate the annotator's bias.
    -l, --leaderboard_mode_to_print=LEADERBOARD_MODE_TO_PRINT
        Type: str
        Default: 'minimal'
        The mode of the leaderboard to print.
    -c, --current_leaderboard_mode=CURRENT_LEADERBOARD_MODE
        Type: str
        Default: 'minimal'
        The mode of the leaderboard to save all new entries with.
    -o, --output_path=OUTPUT_PATH
        Type: Union
        Default: 'auto'
        Path to save the leaderboard and annotataions. If None, we don't save.
    Additional flags are accepted.
        Additional arguments to pass to `Annotator`.

Parameters
----------
prompt_template : path
    A prompt that will be given to `fn_prompter` or path to the prompts. Path is relative to
    `evaluators_configs/`

fn_completion_parser : callable or str
    Function in `completion_parsers.py` to use for parsing the completions into preferences. For each completion,
    the number of preferences should be equal to the batch_size if not we set all the preferences in that batch to
    NaN.

completion_parser_kwargs : dict
    Kwargs for fn_completion_parser.

fn_completions : callable or str
    Function in `decoders.py` to use for decoding the output.

completions_kwargs : dict
    kwargs for fn_completions. E.g. model_name, max_tokens, temperature, top_p, top_k, stop_seq.

is_randomize_output_order : bool
    Whether to randomize output_1, output_2 when formatting.

batch_size : int
    Number of examples that will be added in a single prompt.

alpaca_eval analyze_evaluators --annotators_config '<path_to_config.yaml>'    

参与贡献

我们接受针对新模型、评估器（Evaluator）和评估集（Eval Set）的 PR（拉取请求），以及错误修复。我们将定期更新 排行榜网站 以纳入新的社区贡献。我们还为 AlpacaEval 创建了一个 支持 Discord，如果您遇到任何问题并希望向社区寻求帮助，可以使用它。

要开始贡献，请先 fork 该仓库，并从源码安装包 pip install -e .。

贡献模型

首先，您需要在 models_configs 文件夹中添加一个模型配置定义。作为示例，您可以查看 falcon-7b-instruct yaml。请确保文件夹名称和 yaml 中的键名完全匹配。

然后，请按照 评估模型 中的步骤运行模型的推理（inference），在评估集上生成输出，并根据其中一个评估器对模型进行评分。示例命令可能如下所示：

alpaca_eval evaluate_from_model \
  --model_configs 'falcon-7b-instruct'

运行此命令后，您应该生成了一个 outputs json 文件以及对应的 排行榜文件 中的新条目。请提交包含配置、输出文件和更新后的排行榜的 PR。

具体来说，您应该执行以下操作：

1. 在 github 上 fork 仓库
2. 克隆 fork 后的仓库 git clone <URL>
3. 在 src/alpaca_eval/models_configs/<model_name> 处创建模型配置并对其进行评估 evaluate_from_model --model_configs '<model_name>'
4. 将模型配置、输出和排行榜条目添加到 fork 后的仓库中

git add src/alpaca_eval/models_configs/<model_name> # add the model config
git add src/alpaca_eval/leaderboards/ # add the actual leaderboard entry
git add src/alpaca_eval/metrics/weights # add the weights for LC
git add -f results/<model_name>/model_outputs.json # force add the outputs on the dataset
git add -f results/<model_name>/*/annotations.json # force add the evaluations from the annotators
git commit -m "Add <model_name> to AlpacaEval"
git push

5. 在 AlpacaEval 上创建拉取请求

注意：如果您在 AlpacaEval 之外生成输出，您仍然需要添加模型配置，但使用 fn_completions: null。请参阅 此配置 作为示例。

alpaca_eval make_leaderboard \
  --leaderboard_path src/alpaca_eval/leaderboards/data_AlpacaEval/<evaluator>_leaderboard.csv \
  --all_model_outputs alpaca_eval_all_outputs.json \
  --annotators_config <evaluator_config>

alpaca_eval make_leaderboard \
  --leaderboard_path <src/alpaca_eval/leaderboards/data_AlpacaEval/your_leaderboard_name.csv> \
  --all_model_outputs alpaca_eval_all_outputs.json \
  --reference_outputs <path_to_json_file>

局限性

AlpacaEval 评估流程与其他当前的评估器一样，存在重要的局限性，因此不应在重要场景中替代人工评估，例如决定模型是否准备好部署。这些局限性大致可分为三类：

1. 指令可能无法代表真实使用情况：AlpacaEval 集包含来自各种数据集的示例（self-instruct, open-assistant, vicuna, koala, hh-rlhf），这些可能无法代表真实使用情况以及像 GPT4 这样更好模型的先进应用。这可能导致最好的闭源模型（GPT4 / Claude / ChatGPT / ...）看起来比实际情况更接近开源模型。事实上，这些闭源模型似乎是在更多样化的数据上预训练/微调的。例如参见 此博客 关于更复杂指令的初步结果。然而，请注意，在 AlpacaFarm 中，我们展示了我们在评估集上的胜率（win-rates）与 Alpaca Demo 用户交互指令的胜率高度相关（0.97 R2）。此外，AlpacaEval 排行榜显示的开源模型和 OpenAI 模型之间的差距比其他排行榜（例如 lmsys）更大。

2. 自动标注者的偏见：原始自动标注者似乎存在隐性偏见。特别是，我们发现它们倾向于偏好更长的输出和包含列表的输出（例如 alpaca_eval_gpt4 为 0.68 / 0.69，claude 为 0.62 / 0.58）。虽然我们发现人类也有类似的偏见（0.64 / 0.61），但我们认为这可能更多是我们使用的人工标注流程的局限性，而非真正的人类偏见。更普遍地说，通过定性分析，我们发现自动标注者更重视输出的风格而非其内容（例如事实性）。最后，我们发现自动评估者倾向于偏好来自相似模型（很可能是在相同数据上训练的）的输出，正如 claude 和 alpaca_eval_gpt4 排行榜上 ChatGPT/GPT4 的巨大差异所表明的那样。注意，长度控制在我们的长度控制胜率中部分缓解了长度偏见。

3. 缺乏安全评估：重要的是，AlpacaEval 仅评估模型的指令遵循能力，而不是它们可能造成的危害（例如有毒行为或偏见）。因此，当前 ChatGPT 和最佳开源模型之间的小差距不应被解释为后者已准备好部署。

除了上述关于评估流程的局限性外，关于我们对评估器的验证以及我们 提出的方法 来选择评估集也存在局限性。

额外分析和图表

长度控制的 AlpacaEval (LCAE)

长度控制的 AlpacaEval 可视化：

长度控制的 AlpacaEval 开发：

该笔记本展示了我们考虑过的用于减轻自动标注器长度偏差的不同选项。

在此我们简要总结主要结果。即：

• LCAE（长度控制版 AlpacaEval）将 AlpacaEval 2.0 与 Chat Arena 的相关性从 0.94 提高到了 0.98。这使得 LCAE 成为与 Chat Arena 相关性最高的基准，如下图所示。

• LCAE 降低了长度可操纵性。AlpacaEval 的主要问题之一是，你可以通过增加输出长度来提高胜率。例如，在 AlpacaEval 2.0 中，当提示“尽可能提供详细信息”时，基线的胜率（50%）增加到 64%，而当提示“在提供回答问题所需的所有必要信息的同时尽可能简洁”时，胜率下降到 23%。更一般地说，AlpacaEval 的相对长度可操纵性约为 21%，而 LCAE 下降至约 6%，因此通过提示词长度进行操纵的可能性降低了 3 倍。如下图所示。

• 我们可以预测不同基线的性能。使用 GLM（广义线性模型）来控制长度偏差的另一个好处在于，我们现在拥有一个模型，可以预测模型在不同基线下的胜率。特别是，我们的 GLM 具有许多优良属性，例如 win_rate(m,b) = 1 - win_rate(b,m) \in [0,1] 和 win_rate(m,m) = 0.5。如下图所示。

最后，请注意我们仅控制了长度偏差。还有其他已知的偏差我们没有控制，例如自动标注器倾向于偏好与其模型相似的输出。虽然我们可以控制这一点，但在实践中我们发现这不如长度偏差那么严重。原因有二：(1) 这主要是因为排行榜上主要是单个模型，因为在自动标注器的输出上进行微调似乎并没有像想象中那样显著影响胜率；(2) 这种偏差实际上比人们想象的要弱。例如，我们在下面展示了由三个不同模型自动标注的排行榜子集，我们看到模型的排名完全相同。特别是，claude-3-opus 偏好 gpt4_preview，而 mistral-large 偏好前两者。

引用

请根据您使用的内容和引用的内容考虑引用以下内容：

• 代码、结果和通用基准：alpaca_eval（本仓库）。指定您使用的是 AlpacaEval 还是 AlpacaEval 2.0。有关长度控制的胜率，见下文。
• 长度控制 (LC) 胜率：alpaca_eval_length。
• 人工标注：dubois2023alpacafarm (AlpacaFarm)
• AlpacaEval 评估集：alpaca_eval 以及 self-instruct, open-assistant, vicuna, koala, hh-rlhf。

以下是 bibtex 条目：

@misc{alpaca_eval,
  author = {Xuechen Li and Tianyi Zhang and Yann Dubois and Rohan Taori and Ishaan Gulrajani and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {AlpacaEval: An Automatic Evaluator of Instruction-following Models},
  year = {2023},
  month = {5},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/tatsu-lab/alpaca_eval}}
}

@article{dubois2024length,
  title={Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators},
  author={Dubois, Yann and Galambosi, Bal{\'a}zs and Liang, Percy and Hashimoto, Tatsunori B},
  journal={arXiv preprint arXiv:2404.04475},
  year={2024}
}

@misc{dubois2023alpacafarm,
  title={AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback}, 
  author={Yann Dubois and Xuechen Li and Rohan Taori and Tianyi Zhang and Ishaan Gulrajani and Jimmy Ba and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto},
  year={2023},
  eprint={2305.14387},
  archivePrefix={arXiv},
  primaryClass={cs.LG}
}

更多信息

pip install -U alpaca_eval
alpaca_eval --model_outputs … --is_recompute_metrics_only True

对于所有模型，您可以在 results/<model_name>/*/annotations.json 下找到 auto-annotations（自动标注）。这些标注包含以下列：

• instruction: prompt（提示词）
• generator_1: baseline model（基线模型）
• output_1: 基线模型的输出
• generator_2: 被评估的模型
• output_2: 被评估模型的输出
• annotator: auto-annotator（自动标注器）
• preference: auto-annotator（自动标注器）的结果。这是一个介于 1 和 2 之间的 float（浮点数）。越接近 1 表示 auto-annotator（自动标注器）更偏好 output_1，越接近 2 表示它更偏好 output_2。对于 AlpacaEval 2.0，preference-1 对应于 output_1 被选中的概率。对于 AlpacaEval 1.0，如果 output_1 被偏好则 preference 为 1，如果 output_2 被偏好则为 2，如果两者相同则为 1.5。win rate（胜率）始终是 (preference -1).mean()。
• raw_completion: auto-annotator（自动标注器）的原始输出。此字段包含在 output_1 和 output_2 顺序去随机化之前的补全内容！因此更难解读，详见下文。

Chain of thought（思维链）

对于某些标注器，例如 alpaca_eval_cot_gpt4_turbo_fn，我们使用 Chain of thought reasoning（思维链推理）使模型的偏好更具可解释性。这些内容可以在 concise_explanation 下找到。要解读它们，您还应该查看 referenced_models，它将临时模型名称（在提示词中）转换为实际输出。下面，我们将提供更多关于背后机制的解释。

您可以检查 annotations.json 中的 raw_annotations["concise_explanation] 列（例如 此处），其中包含自动标注器的 Chain of thought reasoning（思维链推理）。请注意，raw_annotations 不受输出顺序随机化的影响。特别是，"m" 和 "M" 有时指第一个模型（参考模型），有时指第二个模型（被评估模型）。要了解指的是哪个模型，您应该使用 preference 和 ordered_models 列。为了使其更容易理解，我们添加了一个 "referenced_models" 列，将模型名称映射到相应的输出。例如，在下面的标注中，我们看到偏好值为 1.0（即 output_1），并且对应于 concise_explanation 中的模型 M（参见 ordered_models）。

{
  "instruction": "How did US states get their names?",
  "output_1": "The names of U.S. states are derived from a variety of languages and sources, including indigenous American languages, European languages (primarily English, Spanish, and French), as well as other historical influences. Here is a brief overview of how some states got their names:\n\n1. **Indigenous American Languages**: Many state names come from Native American words or names of tribes, often from the languages of the indigenous peoples who lived in or near those areas.\n   - **Alabama**: Possibly derived from the Choctaw language, meaning \"thicket clearers.\"\n   - **Connecticut**: From a Mohegan-Pequot word meaning \"long tidal river.\"\n   - **Massachusetts": [...]",
  "generator_1": "gpt4_1106_preview",
  "dataset": "helpful_base",
  "output_2": "The names of the 50 U.S. states come from a variety of sources, including Native American languages, European languages, and historical figures. Here's a brief overview of how some states got their names:\n\n1. Native American origins: Many states have names derived from Native American languages. For example, Alabama comes from the Choctaw word \"Albah amo,\" meaning \"plant gatherers\" or \"herb gatherers.\" Similarly, the name Mississippi comes from the Ojibwe word \"Misi-ziibi,\" meaning \"great river.\"\n\n2. European languages: [...].",
  "generator_2": "gpt4",
  "annotator": "alpaca_eval_cot_gpt4_turbo_fn",
  "preference": 1.0,
  "raw_completion": {
    "concise_explanation": "Model M provided a more detailed and structured response, including bold headings for each category and a wider range of examples. It also included additional categories such as 'Other European Languages' and 'Combination of Languages and Influences', which added depth to the explanation. Model m's response was accurate but less comprehensive and lacked the clear structure found in Model M's output.",
    "ordered_models": [
      {
        "model": "M",
        "rank": 1
      },
      {
        "model": "m",
        "rank": 2
      }
    ]
  },
  "referenced_models": {
    "M": "output_1",
    "m": "output_2"
  }
}

• 2024 年 3 月 12 日：更新为使用 length-controlled (LC)（长度控制）win rates（胜率）。这是控制输出长度的 win-rates（胜率）的无偏版本。
• 2024 年 1 月 3 日：更新至 AlpacaEval 2.0，该版本使用 GPT4-turbo 作为 baseline（基线）和 annotator（标注器）。
• 2024 年 1 月 2 日：添加了 Azure API 以及更通用的客户端配置设置方式。参见 此处
• 2023 年 6 月 19 日：添加任何人都可以使用的排行榜 chatgpt_fn（无需等待列表）。
• 2023 年 6 月 19 日：更新以使用 OpenAI 的 function calling（函数调用）。示例：chatgpt_fn 或 alpaca_eval_gpt4_fn。