⚠️ 通知 ⚠️ 此仓库已落后于我们最近的发布版本，且不再活跃。获取最新的 Olmo 发布和更新，请访问：https://github.com/allenai/OLMo-core/

OLMo 是用于训练和使用 AI2 最先进的开源语言模型 (Language Model) 的仓库。它由科学家设计，专为科学家打造。

安装

首先，根据您的操作系统特定说明安装 PyTorch (PyTorch 深度学习框架)。

对于训练和微调 (Fine-tuning)，我们推荐从源代码安装：

git clone https://github.com/allenai/OLMo.git
cd OLMo
pip install -e .[all]

您也可以通过以下方式从 PyPI 安装：

pip install ai2-olmo

预训练 (Pretraining)

OLMo 预训练遵循两阶段训练流程。 在第一阶段，我们在大量主要基于网络的数据上进行训练：OLMo-mix-1124 在第二阶段，我们在少量高质量、定向的数据上进行训练：Dolmino-mix-1124

您可以在 OLMo core 和 Hugging Face 格式中找到所有检查点 (Checkpoints)，至少每 1000 个训练步骤一次：

Variant	OLMo 格式（阶段 1）	OLMo 格式（阶段 2）	Hugging Face 格式
OLMo-2 1B	OLMo-2 1B	OLMo-2 1B	Hugging Face for the 1B variant
OLMo-2 7B	OLMo-2 7B	OLMo-2 7B	Hugging Face for the 7B variant
OLMo-2 13B	OLMo-2 13B	OLMo-2 13B	Hugging Face for the 13B variant
OLMo-2 32B	OLMo-2 32B	OLMo-2 32B	Hugging Face for the 32B variant

注意：32B 变体是在我们的新训练器 (Trainer) 上训练的。要训练或微调 (Fine-tuning) OLMo-2 32B，请访问 OLMo-core。

复现步骤

要复现以下描述的任何训练过程，请运行：

torchrun --nproc_per_node=8 scripts/train.py {path_to_train_config}

对于训练配置 (Config)，请使用下列列出的任意配置。

如果您想在不每次编写新配置的情况下覆盖训练配置中的任何设置，可以这样做：

torchrun --nproc_per_node=8 scripts/train.py {path_to_train_config} \
  --setting1=value \
  --setting2=value \
  --setting3.subsetting1=value

下面的训练配置引用的是通过 HTTP 实时流式传输的训练数据。 为了大规模复现，我们建议将文件下载到本地并将路径更改为指向您的本地文件系统。

在 Mac 硅基设备 (Silicon Devices) 上运行：

python scripts/train.py {path_to_train_config}

示例：

python scripts/train.py configs/tiny/OLMo-20M.yaml --save_overwrite

注意：您需要升级 PyTorch 到 2.5.x 才能运行。

第一阶段

第一阶段是规模最大的阶段，我们在大量基于网络的数据上进行了 4T 或 5T token（词元）的训练。

	OLMo2 1B	OLMo2 7B	OLMo2 13B
Token 数量	4 Trillion	4 Trillion	5 Trillion
检查点	stage1-step1907359-tokens4001B	stage1-step928646-tokens3896B	stage1-step596057-tokens5001B
训练配置	OLMo2-1B-stage1.yaml	OLMo2-7B-stage1.yaml	OLMo2-13B-stage1.yaml
WandB	wandb.ai/OLMo2-1B	wandb.ai/OLMo2-7B	wandb.ai/OLMo2-13B

你可以在 这里 找到包含训练数据的 .csv.gz 文件。

1B 模型的第二阶段

针对 1B 模型，我们在 50B 高质量 token 上以不同的数据顺序训练了三次，并使用 seed 42（随机种子）的最终检查点作为最终模型。

	检查点	训练配置	WandB
随机种子 42069	stage2-ingredient1-step23852-tokens51B	OLMo2-1B-stage2-seed42069.yaml	wandb.ai/OLMo2-1B
随机种子 666	stage2-ingredient2-step23852-tokens51B	OLMo2-1B-stage2-seed666.yaml	wandb.ai/OLMo2-1B
随机种子 42（主）	stage2-ingredient3-step23852-tokens51B	OLMo2-1B-stage2-seed42.yaml	wandb.ai/OLMo2-1B

7B 模型的第二阶段

针对 7B 模型，我们在 50B 高质量 token 上以不同的数据顺序训练了三次，随后对这些模型进行平均（即"Model Soup"）。

	检查点	训练配置	WandB
随机种子 42	stage2-ingredient1-step11931-tokens50B	OLMo2-7B-stage2-seed42.yaml	wandb.ai/OLMo2-7B
随机种子 42069	stage2-ingredient2-step11931-tokens50B	OLMo2-7B-stage2-seed42069.yaml	wandb.ai/OLMo2-7B
随机种子 666	stage2-ingredient3-step11931-tokens50B	OLMo2-7B-stage2-seed666.yaml	wandb.ai/OLMo2-7B
最终融合模型	main	无配置文件，我们仅在 Python 中平均了权重

此处链接的训练配置已设置好，用于下载 Stage 1 后的最新检查点，并从中继续训练。

13B 模型的 Stage 2

对于 13B 模型，我们在 100B 高质量 tokens 上以不同的数据顺序训练了三次，并在 300B 高质量 tokens 上再训练一次。然后我们对模型进行平均（即“模型汤”/model soup）。

	检查点 (Checkpoint)	训练配置 (Training config)	WandB
随机种子 1110, 100B	stage2-ingredient1-step11931-tokens100B	OLMo2-13B-stage2-seed1110-100B.yaml	wandb.ai/OLMo2-13B
随机种子 2662, 100B	stage2-ingredient2-step11931-tokens100B	OLMo2-13B-stage2-seed2662-100B.yaml	wandb.ai/OLMo2-13B
随机种子 6209, 100B	stage2-ingredient3-step11931-tokens100B	OLMo2-13B-stage2-seed6209-100B.yaml	wandb.ai/OLMo2-13B
随机种子 2662, 300B	stage2-ingredient4-step11931-tokens300B	OLMo2-13B-stage2-seed2662-300B.yaml	wandb.ai/OLMo2-13B
最终融合模型	main	无配置，我们仅在 Python 中平均了权重

此处链接的训练配置已设置好，用于下载 Stage 1 之后的最新检查点 (checkpoint)，并从此处开始训练。

注意：您可以在 OLMo-core 仓库中找到关于 32B 的所有信息。

指令微调变体

对于这些模型的指令微调 (instruction tuned) 变体，请访问：

• OLMo2 1B Instruct
• OLMo2 7B Instruct
• OLMo2 13B Instruct
• OLMo2 32B Instruct

推理

您可以使用我们的 Hugging Face 集成来在 OLMo Transformers 检查点上运行推理：

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-0425-1B")
message = ["Language modeling is "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# optional verifying cuda
# inputs = {k: v.to('cuda') for k,v in inputs.items()}
# olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

或者，使用 Hugging Face 的 pipeline 抽象：

from transformers import pipeline
olmo_pipe = pipeline("text-generation", model="allenai/OLMo-2-0425-1B")
print(olmo_pipe("Language modeling is"))

量化

olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B", torch_dtype=torch.float16, load_in_8bit=True)  # requires bitsandbytes

量化模型对输入类型和 CUDA 处理比较敏感。为了避免潜在问题，我们建议显式地将输入 ID 转换为 CUDA，使用：inputs.input_ids.to('cuda')

评估

评估 OLMo 模型的额外工具可在 OLMo Eval 和 olmes 仓库中找到。

Modal.com 托管

在 ./scripts/olmo2_modal_openai.py 中提供了一个示例脚本，用于在 Modal.com 上使用 OpenAI API 托管 OLMo 2 模型。 要运行该脚本：

1. 按照 Modal.com 指南 中“入门”部分的说明安装 Modal 库和命令行工具。
2. 按照 Modal.com 指南 中“密钥”部分的说明创建一个名为 "example-secret-token" 的 Modal 密钥，该密钥为服务器变量 MODAL_TOKEN 定义一个值。
3. 然后运行

modal deploy ./scripts/olmo2_modal_openai.py

您可以使用 curl 检查您的端点 (endpoint)，类似于以下内容：

curl -X POST \
  -H "Authorization: Bearer [the secret token from above]" \
  -H "Content-Type: application/json" \
  -d @body.json \
  https://[the web endpoint modal creates above]/v1/chat/completions

其中 body.json 的格式如下：

{
    "model": "OLMo-2-1124-13B-Instruct",
    "messages": [
        {
            "role": "user",
            "content": "Who was Alan Turing?"
        }
      ],
    "max_tokens": 100,
    "temperature": 0.9,
    "stream": true
}

引用

@misc{olmo20242olmo2furious,
      title={2 OLMo 2 Furious}, 
      author={Team OLMo and Pete Walsh and Luca Soldaini and Dirk Groeneveld and Kyle Lo and Shane Arora and Akshita Bhagia and Yuling Gu and Shengyi Huang and Matt Jordan and Nathan Lambert and Dustin Schwenk and Oyvind Tafjord and Taira Anderson and David Atkinson and Faeze Brahman and Christopher Clark and Pradeep Dasigi and Nouha Dziri and Michal Guerquin and Hamish Ivison and Pang Wei Koh and Jiacheng Liu and Saumya Malik and William Merrill and Lester James V. Miranda and Jacob Morrison and Tyler Murray and Crystal Nam and Valentina Pyatkin and Aman Rangapur and Michael Schmitz and Sam Skjonsberg and David Wadden and Christopher Wilhelm and Michael Wilson and Luke Zettlemoyer and Ali Farhadi and Noah A. Smith and Hannaneh Hajishirzi},
      year={2024},
      eprint={2501.00656},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.00656}, 
}

OLMo 快速上手指南

⚠️ 重要提示：当前仓库（allenai/OLMo）已不再活跃且版本过时。如需获取最新的 OLMo 发布版本和更新，请访问官方核心仓库：https://github.com/allenai/OLMo-core/。本指南基于提供的文档整理，适用于复现训练流程。

一、环境准备

OLMo 专为科研人员设计，支持在多种操作系统上运行。

• 操作系统：Linux / macOS / Windows
• Python 版本：建议使用较新的稳定版
• 深度学习框架：需先安装 PyTorch。
  • Mac Silicon 设备：需升级 PyTorch 至 2.5.x 版本才能运行。
• 网络要求：训练数据通过 HTTP 流式传输，建议在国内环境下配置稳定的网络连接或使用代理。

二、安装步骤

方式 1：从源码安装（推荐用于训练和微调）

克隆仓库并安装依赖：

git clone https://github.com/allenai/OLMo.git
cd OLMo
pip install -e .[all]

方式 2：通过 PyPI 安装

直接安装包：

pip install ai2-olmo

三、基本使用

OLMo 采用两阶段训练流程。以下是启动训练脚本的基本命令。

1. 启动训练

使用 torchrun 启动多卡训练（以 8 张卡为例）：

torchrun --nproc_per_node=8 scripts/train.py {path_to_train_config}

• {path_to_train_config} 替换为具体的配置文件路径（见下文）。
• 覆盖设置：无需新建配置文件，可直接在命令行覆盖参数：

  torchrun --nproc_per_node=8 scripts/train.py {path_to_train_config} \
    --setting1=value \
    --setting2=value \
    --setting3.subsetting1=value
  

2. Mac Silicon 设备运行

在 Apple Silicon 设备上运行单进程训练：

python scripts/train.py {path_to_train_config}

示例：

python scripts/train.py configs/tiny/OLMo-20M.yaml --save_overwrite

3. 模型变体与配置

不同规模的模型（1B, 7B, 13B, 32B）对应不同的训练配置和数据集。主要配置位于 configs/official-* 目录下。

模型变体	说明	配置参考
OLMo-2 1B	第一阶段 4T tokens，第二阶段 50B tokens	configs/official-0425/OLMo2-1B-stage1.yaml
OLMo-2 7B	第一阶段 4T tokens，第二阶段 50B tokens (多模型融合)	configs/official-1124/OLMo2-7B-stage1.yaml
OLMo-2 13B	第一阶段 5T tokens，第二阶段 100B+300B tokens	configs/official-1124/OLMo2-13B-stage1.yaml
OLMo-2 32B	需使用新 Trainer，请前往 OLMo-core	N/A

注意：32B 变体使用了新的 Trainer，若需训练或微调该版本，请务必访问 OLMo-core 仓库。

4. 数据与检查点

• 预训练数据：
  • 第一阶段：OLMo-mix-1124
  • 第二阶段：Dolmino-mix-1124
• 模型检查点：所有检查点均提供 OLMo 格式和 Hugging Face 格式，可在 GitHub 配置表或 Hugging Face 页面下载。