ALMA共有三代：ALMA（第一代）、ALMA-R（第二代）以及X-ALMA（第三代，全新！）。

ALMA（Advanced Language Model-based TrAnslator）是一种多对多的基于大语言模型的翻译模型，它采用了一种全新的翻译模型范式：先在单语数据上进行微调，再利用高质量的平行数据进一步优化。这一两步微调流程确保了强大的翻译性能。

ALMA-R 在ALMA模型的基础上，使用我们提出的**对比偏好优化（CPO）**进行了进一步的LoRA微调，而ALMA则采用了监督微调。CPO微调需要我们的三元组偏好数据来进行偏好学习。ALMA-R如今的表现可以媲美甚至超越GPT-4或WMT竞赛的冠军！

X-ALMA（全新！）将ALMA(-R)的支持语言从6种扩展到了50种，并且无论资源丰富程度如何，都能在50种不同的语言中保持顶尖的翻译性能。这是通过即插即用的语言特定模块架构以及精心设计的5步训练方案，结合新颖的自适应拒绝偏好优化方法实现的。

旧版ALMA仓库：

• 原始的ALMA仓库可以在这里找到：这里。
• 原始的ALMA-R仓库可以在这里找到：这里。

新闻 🌟

⭐ 2025年1月22日 X-ALMA 已被ICLR 2025 接受！

⭐ 2024年10月6日 X-ALMA 正式发布！请在此处查看论文以及模型和数据集。

⭐ 2024年6月20日 我们要特别感谢SimPO，它与CPO共享类似的无参考偏好学习框架，但由于其特殊的长度归一化和目标奖励间隔，表现更加稳定。最令人兴奋的是，CPO和SimPO有可能结合使用！更多关于CPO-SimPO的信息，请参阅相关资料！

⭐ 2024年5月1日 CPO论文已被ICML 2024 接受！

⭐ 2024年3月22日 CPO方法现已合并至huggingface trl！详情请见此处。

⭐ 2024年1月16日 ALMA-R 正式发布！请参阅我们的新论文以获取更多详细信息：对比偏好优化：推动机器翻译中大语言模型性能的边界。

⭐ 2024年1月16日 ALMA论文：机器翻译的范式转变：提升大语言模型的翻译性能已被ICLR 2024 接受！更多详情请见此处！

目录 📄

• 下载ALMA模型和数据集
• 快速入门
• 环境设置
• 评估
• 训练
• 常见问题解答

:star: 支持事项 :star:

• AMD和Nvidia显卡
• 数据并行评估
• 同时支持LLaMA-1、LLaMA-2、OPT、Faclon、BLOOM、MPT
• LoRA微调
• 单语数据微调、平行数据微调

下载 ALMA 模型和数据集 🚀

我们发布了 ALMA 系列的七种翻译模型：

模型检查点已在 Hugging Face 上发布：

模型	基础模型链接	LoRA 链接
ALMA-7B (第一代)	haoranxu/ALMA-7B	-
ALMA-7B-LoRA (第一代)	haoranxu/ALMA-7B-Pretrain	haoranxu/ALMA-7B-Pretrain-LoRA
ALMA-7B-R (第二代)	haoranxu/ALMA-7B-R (LoRA 合并)	-
ALMA-13B-LoRA (第一代)	haoranxu/ALMA-13B	-
ALMA-13B-LoRA	haoranxu/ALMA-13B-Pretrain	haoranxu/ALMA-13B-Pretrain-LoRA
ALMA-13B-R (第二代)	haoranxu/ALMA-13B-R (LoRA 合并)	-
X-ALMA (全新，第三代)	X-ALMA 模型	-

请注意，ALMA-7B-Pretrain 和 ALMA-13B-Pretrain 并非翻译模型。它们仅经历了第一阶段的单语微调（7B 模型为 200 亿 token，13B 模型为 120 亿 token），应与其对应的 LoRA 模型结合使用。

我们还在 outputs 目录中提供了 ALMA-13B-LoRA 和 ALMA-13B-R 在 WMT'22 和 WMT'23 上的翻译结果。这些输出还包括我们的基线结果，可以直接访问并用于后续评估。

ALMA 和 ALMA-R 使用的数据集现在也已在 Hugging Face 上发布（全新！）：

数据集	训练 / 验证	测试
ALMA 人工编写的平行数据	平行训练和验证	WMT'22
ALMA-R 三元组偏好数据	三元组偏好数据	WMT'22 和 WMT'23
X-ALMA 数据	50 种语言 平行数据 和 偏好数据	WMT'23 和 FLORES-200

快速入门

X-ALMA 采用即插即用架构，由基础模型和特定语言模块组成，每个模块可在不同语言组之间共享。 有三种方式加载 X-ALMA 进行翻译。以下示例将“我爱机器翻译。”翻译成英语（X-ALMA 也可以进行多语言开放式问答）。

第一种方法：加载已将特定语言模块合并到基础模型中的合并模型（推荐）：

import torch
from transformers import AutoModelForCausalLM
from transformers import AutoTokenizer
from peft import PeftModel

GROUP2LANG = {
    1: ["da", "nl", "de", "is", "no", "sv", "af"],
    2: ["ca", "ro", "gl", "it", "pt", "es"],
    3: ["bg", "mk", "sr", "uk", "ru"],
    4: ["id", "ms", "th", "vi", "mg", "fr"],
    5: ["hu", "el", "cs", "pl", "lt", "lv"],
    6: ["ka", "zh", "ja", "ko", "fi", "et"],
    7: ["gu", "hi", "mr", "ne", "ur"],
    8: ["az", "kk", "ky", "tr", "uz", "ar", "he", "fa"],
}
LANG2GROUP = {lang: str(group) for group, langs in GROUP2LANG.items() for lang in langs}
group_id = LANG2GROUP["zh"]

model = AutoModelForCausalLM.from_pretrained(f"haoranxu/X-ALMA-13B-Group{group_id}", torch_dtype=torch.float16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(f"haoranxu/X-ALMA-13B-Group{group_id}", padding_side='left')

# 将源句加入提示模板
prompt="将这段中文翻译成英文：\n中文：我爱机器翻译。\n英文："

# X-ALMA 需要聊天模板，而 ALMA 和 ALMA-R 则不需要。
chat_style_prompt = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(chat_style_prompt, tokenize=False, add_generation_prompt=True)

input_ids = tokenizer(prompt, return_tensors="pt", padding=True, max_length=40, truncation=True).input_ids.cuda()

# 翻译
with torch.no_grad():
    generated_ids = model.generate(input_ids=input_ids, num_beams=5, max_new_tokens=20, do_sample=True，temperature=0.6，top_p=0.9)
outputs = tokenizer.batch_decode(generated_ids，skip_special_tokens=True)
print(outputs)

第二种方法：加载基础模型和特定语言模块（推荐）：

model = AutoModelForCausalLM.from_pretrained("haoranxu/X-ALMA-13B-Pretrain", torch_dtype=torch.float16，device_map="auto")
model = PeftModel.from_pretrained(model，f"haoranxu/X-ALMA-13B-Group{group_id}")
tokenizer = AutoTokenizer.from_pretrained(f"haoranxu/X-ALMA-13B-Group{group_id}", padding_side='left')

第三种方法：加载带有所有特定语言模块的基础模型，类似于 MoE 架构：（需要较大的 GPU 内存）

from modeling_xalma import XALMAForCausalLM
model = XALMAForCausalLM.from_pretrained("haoranxu/X-ALMA", torch_dtype=torch.float16，device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("haoranxu/X-ALMA", padding_side='left')

# 添加 `lang="zh"`：指定语言，以指示模型在生成时使用哪个语言组进行第三次加载。
generated_ids = model.generate(input_ids=input_ids，num_beams=5，max_new_tokens=20，do_sample=True，temperature=0.6，top_p=0.9，lang="zh")

ALMA 和 ALMA-R 的翻译提示是：

将这段 <源语言名称> 翻译成 <目标语言名称>：
<源语言名称>： <源语言句子>
<目标语言名称>：

X-ALMA 的翻译提示是：

<s>[INST] 将这段 <源语言名称> 翻译成 <目标语言名称>：
<源语言名称>： <源语言句子>
<目标语言名称>： [/INST]

环境设置 🔧

conda create -n xalma python=3.11
conda activate xalma

如果您使用 AMD 显卡，请先安装支持 ROCm 的 PyTorch。

然后安装其他依赖项：

bash install_alma.sh

评估 💻

X-ALMA 评估

这是评估我们 X-ALMA 模型的快速入门指南。要为 FLORES-200 数据集生成英→捷克语和捷克语→英语两个方向的翻译结果，（如果您想评估 WMT'23 而不是 FLORES-200，只需添加 --override_test_data_path haoranxu/WMT23-Test 即可。）请运行以下命令。请注意，ALMA 和 ALMA-R 不需要启用 --chat_style，此选项仅适用于 X-ALMA。

accelerate launch --config_file configs/deepspeed_eval_config_bf16.yaml \
    run_llmmt.py \
    --model_name_or_path haoranxu/X-ALMA-13B-Group5 \
    --do_predict \
    --low_cpu_mem_usage \
    --language_pairs en-cs,cs-en \
    --mmt_data_path placeholder \
    --override_test_data_path haoranxu/FLORES-200 \
    --per_device_eval_batch_size 1 \
    --output_dir ./your_output_dir/ \
    --predict_with_generate \
    --max_new_tokens 256 \
    --max_source_length 256 \
    --bf16 \
    --seed 42 \
    --num_beams 5 \
    --overwrite_cache \
    --overwrite_output_dir \
    --chat_style # `--chat_style` 仅用于 X-ALMA。ALMA 和 ALMA-R 不需要启用 `--chat_style`

生成的输出将保存在 your_output_dir 目录中。英→捷克语方向的翻译文件名为 test-en-cs，而捷克语→英语方向的文件名为 test-cs-en。 变量 ${test_pairs} 表示您希望评估的翻译方向，支持同时测试多个方向。例如，您可以使用 de-en,en-de,en-cs,cs-en。

更多关于评估 ALMA(-R) 的示例，请参阅 ./evals 文件夹下的内容：

请注意，这将执行由 DeepSpeed 支持的数据并行评估：即在每张可用的 GPU 上放置模型的完整副本，并将批次拆分到各 GPU 上，从而实现 K 张 GPU 的速度是单张 GPU 的 K 倍。 对于 GPU 显存有限的用户，我们还提供另一种方法。用户可以添加 --multi_gpu_one_model 参数，以在多张 GPU 上分布式运行单个模型。请参阅 evals/alma_13b_r.sh 或 evals/*no_parallel 文件中的评估示例。

训练 🔥

在这里，我们将展示如何：

• 在 ALMA 模型基础上进行对比偏好优化（ALMA→ALMA-R）。
• 使用单语 OSCAR 数据对 LLaMA-2-7B 进行微调（阶段 1）。
• 在阶段 1 完成后，对人工编写的平行数据进行全权重和 LoRA 微调（阶段 2）。

请注意，我们不会公开 X-ALMA 的具体训练流程，因为这将涉及发布大量中间检查点，使整个过程过于复杂。

CPO 微调

要使用我们的三元组偏好数据运行 CPO 微调，请执行以下命令：

bash runs/cpo_ft.sh ${your_output_dir}

OSCAR 单语微调

要执行 OSCAR 单语微调，请使用以下命令：

bash runs/mono_ft.sh ${your_output_dir}

平行数据微调（全权重）

单语数据微调完成后，可以继续使用全权重方式对平行数据进行微调。请执行以下命令：

bash runs/parallel_ft.sh ${your_output_dir} $training_pairs$

其中 training_pairs 是您选择的翻译方向。默认为所有 10 个方向：de-en,cs-en,is-en,zh-en,ru-en,en-de,en-cs,en-is,en-zh,en-ru。

平行数据微调（LoRA）

在阶段 2 中，还可以选择使用 LoRA 方法对平行数据进行微调。为此，请执行以下命令：

bash runs/parallel_ft_lora.sh ${your_output_dir} $training_pairs$

常见问题 ❓

ALMA 和 ALMA-R 支持哪些语言方向？

目前，ALMA 支持 10 个方向：英语↔德语、英语↔捷克语、英语↔冰岛语、英语↔中文、英语↔俄语。不过，它也可能在其他方向上带来惊喜 :)

X-ALMA 支持哪些语言方向？

X-ALMA 支持 50 种语言和 98 个方向（包括以英语为源或目标的语言）：da,nl,de,is,no,sv,af,ca,ro,gl,it,pt,es,bg,mk,sr,uk,ru,id,ms,th,vi,mg,fr,hu,el,cs,pl,lt,lv,ka,zh,ja,ko,fi,et,gu,hi,mr,ne,ur,az,kk,ky,tr,uz,ar,he,fa。

我应该在阶段 1 的什么时候停止微调？

我们的 7B 和 13B 模型分别在 200 亿和 120 亿个标记上进行了预训练。然而，正如论文中所述，微调 10 亿个标记就能显著提升性能。完成 10 亿标记所需的步骤也取决于您的批量大小。在我们的案例中，批量大小计算如下：16 张 GPU × 4（每张 GPU 的批量大小）× 4（梯度累积步数）= 256。对于 512 的序列长度，我们需要大约 8,000 步来训练 10 亿个标记，计算公式为 10^9 / (256*512) ≈8000 步。不过，您也可以选择微调更多步数以获得更好的效果。

如何确定阶段 1 的混合概率？

有关阶段 1 混合概率选择的原因，请参阅论文 附录 D.1！

参考文献

有关 ALMA 模型的更多详细信息，请参阅我们的 论文 或论文的 摘要。

@inproceedings{
    xu2024a,
    title={机器翻译的范式转变：提升大型语言模型的翻译性能},
    author={Haoran Xu、Young Jin Kim、Amr Sharaf 和 Hany Hassan Awadalla},
    booktitle={第十二届国际表示学习会议},
    year={2024},
    url={https://openreview.net/forum?id=farT6XXntP}
}

此外，有关经过对比偏好优化的 ALMA-R 模型的更详细信息，请参阅 论文。

@inproceedings{
    xu2024contrastive,
    title={对比偏好优化：推动大型语言模型在机器翻译中的性能边界},
    author={Haoran Xu、Amr Sharaf、Yunmo Chen、Weiting Tan、Lingfeng Shen、Benjamin Van Durme、Kenton Murray 和 Young Jin Kim},
    booktitle={第四十一届国际机器学习会议},
    year={2024},
    url={https://openreview.net/forum?id=51iwkioZpn}
}

有关 X-ALMA 的详细信息，请参阅最新的 论文。

@inproceedings{
xu2025xalma,
title={X-{ALMA}：即插即用模块与自适应拒绝机制，实现大规模高质量翻译},
author={Haoran Xu、Kenton Murray、Philipp Koehn、Hieu Hoang、Akiko Eriguchi 和 Huda Khayrallah},
booktitle={第十三届国际表示学习会议},
year={2025},
url={https://openreview.net/forum?id=csbf1p8xUq}
}

ALMA / X-ALMA 快速上手指南

ALMA 系列是基于大语言模型（LLM）的先进翻译工具，包含三代模型：ALMA (第一代)、ALMA-R (第二代) 和 X-ALMA (第三代，支持 50 种语言)。本指南重点介绍最新的 X-ALMA 及其前代模型的快速部署与使用。

环境准备

系统要求

• 操作系统: Linux (推荐), macOS, Windows (需配置相应 CUDA/ROCm 环境)
• GPU: 支持 NVIDIA (CUDA) 或 AMD (ROCm) 显卡
• Python: 3.11 及以上版本
• 显存建议:
  • 运行 7B 模型：建议 16GB+ 显存
  • 运行 13B 模型：建议 24GB+ 显存
  • 若使用 MoE 模式加载所有语言模块，需更大显存

前置依赖

确保已安装 conda 包管理器。若使用 AMD GPU，请先安装支持 ROCm 的 PyTorch 版本。

安装步骤

1. 创建并激活虚拟环境

   conda create -n xalma python=3.11
   conda activate xalma
   

2. 安装项目依赖 克隆仓库后，运行官方提供的安装脚本：

   bash install_alma.sh
   

   注：若国内网络下载依赖较慢，可手动配置 pip 镜像源（如清华源）后再运行脚本，或在脚本内替换 pip install 命令为 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...。

基本使用

X-ALMA 采用“即插即用”架构，由基座模型和特定语言模块组成。以下展示如何使用 X-ALMA-13B 将中文翻译成英文。

代码示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 定义语言组映射 (X-ALMA 将 50 种语言分为 8 个组)
GROUP2LANG = {
    1: ["da", "nl", "de", "is", "no", "sv", "af"],
    2: ["ca", "ro", "gl", "it", "pt", "es"],
    3: ["bg", "mk", "sr", "uk", "ru"],
    4: ["id", "ms", "th", "vi", "mg", "fr"],
    5: ["hu", "el", "cs", "pl", "lt", "lv"],
    6: ["ka", "zh", "ja", "ko", "fi", "et"],
    7: ["gu", "hi", "mr", "ne", "ur"],
    8: ["az", "kk", "ky", "tr", "uz", "ar", "he", "fa"],
}
LANG2GROUP = {lang: str(group) for group, langs in GROUP2LANG.items() for lang in langs}

# 获取中文所属的组 ID
group_id = LANG2GROUP["zh"]

# 方式一：加载已合并语言模块的模型（推荐，推理速度最快）
model = AutoModelForCausalLM.from_pretrained(
    f"haoranxu/X-ALMA-13B-Group{group_id}", 
    torch_dtype=torch.float16, 
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(
    f"haoranxu/X-ALMA-13B-Group{group_id}", 
    padding_side='left'
)

# 构建提示词 (X-ALMA 需要使用 Chat Template)
prompt_text = "Translate this from Chinese to English:\nChinese: 我爱机器翻译。\nEnglish:"
chat_style_prompt = [{"role": "user", "content": prompt_text}]
prompt = tokenizer.apply_chat_template(chat_style_prompt, tokenize=False, add_generation_prompt=True)

# 编码输入
input_ids = tokenizer(prompt, return_tensors="pt", padding=True, max_length=40, truncation=True).input_ids.cuda()

# 生成翻译
with torch.no_grad():
    generated_ids = model.generate(
        input_ids=input_ids, 
        num_beams=5, 
        max_new_tokens=20, 
        do_sample=True, 
        temperature=0.6, 
        top_p=0.9
    )

outputs = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
print(outputs)

提示词格式说明

不同代际的模型提示词格式略有不同，请注意区分：

• ALMA / ALMA-R:

  Translate this from <源语言名> into <目标语言名>:
  <源语言名>: <源句子>
  <目标语言名>:
  

• X-ALMA (必须包含 [INST] 标记):

  <s>[INST] Translate this from <源语言名> into <目标语言名>:
  <源语言名>: <源句子>
  <目标语言名>: [/INST]
  

其他加载方式

若希望动态切换语言模块而不重新加载模型，可使用 方式二（基座 + LoRA 适配器）：

# 加载基座
model = AutoModelForCausalLM.from_pretrained("haoranxu/X-ALMA-13B-Pretrain", torch_dtype=torch.float16, device_map="auto")
# 动态挂载特定语言组模块
model = PeftModel.from_pretrained(model, f"haoranxu/X-ALMA-13B-Group{group_id}")
tokenizer = AutoTokenizer.from_pretrained(f"haoranxu/X-ALMA-13B-Group{group_id}", padding_side='left')