Molmo 是用于训练和使用 Ai2 最先进的多模态开源语言模型的代码库。

以下是 Molmo 功能的 视频演示。您可以通过我们的公开 演示 来体验 Molmo，该演示展示了 Molmo-7B-D 模型。

本代码库基于 OLMo 代码库，并在此基础上增加了视觉编码模块以及生成式评估的集成。

发布说明

• [2024年12月5日] 🔥 Molmo：建模、训练和评估的相关代码已发布。详细的技术报告请见 这里。

• [2024年11月27日] 🔥 PixMo，我们用于预训练和微调 VLM 的全新数据集集合，已正式发布。PixMo 包含以下数据集：

  • PixMo-Cap（预训练、微调）：高度详尽的密集描述数据集（平均每张图像约 200 字）
  • PixMo-AskModelAnything（微调）：包含人工编写的图像-问题-答案三元组的指令微调数据
  • PixMo-CapQA（微调）：利用大语言模型从图像的密集描述中生成问答对的合成指令微调数据
  • PixMo-Points（微调）：图像与指代性表达及标注点配对的数据集，支持定位与计数任务
  • PixMo-Point-Explanations（微调）：包含内嵌标注点、指向图像各部分的解释性指令微调数据
  • PixMo-Docs（微调）：关于各类计算机生成的图表、表格、示意图和文档的合成图像-问题-答案三元组。相关代码可在 这里 获取。
  • PixMo-Clocks（微调）：虚拟表盘与时钟标注
  • PixMo-Count（微调）：包含计数类问答对的多样化图像

所有数据集均 未使用任何 VLM 构建。

• [2024年9月24日] 🔥 Molmo，一个全新的开源 VLM 家族，已正式发布。Molmo 家族包括：

  • MolmoE-1B：专家混合模型，拥有 1B 个活跃专家，总规模为 7B
  • Molmo-7B-O：我们最开放的 7B 模型
  • Molmo-7B-D：我们性能最佳且用于演示的 7B 模型
  • Molmo-72B：我们性能最佳的 72B 模型

安装

建议使用 Python 3.10。 首先，请根据您的操作系统说明安装 PyTorch。

要安装依赖项，请执行以下命令：

git clone https://github.com/allenai/molmo.git
cd molmo
pip install -e .[all]

若需训练和评估 MolmoE-1B，请通过运行 pip install git+https://github.com/Muennighoff/megablocks.git@olmoe 来安装 megablocks。

Hugging Face 模型与日志

截至目前，Molmo 家族中已发布的核心模型如下：

模型	视觉编码器	语言模型	11 项基准平均得分
MolmoE-1B-0924	OpenAI CLIP ViT-L/14@336	OLMoE-1B-7B-0924	68.6
Molmo-7B-O-0924		OLMo-7B-1024 预览版	74.6
Molmo-7B-D-0924		Qwen2-7B	77.3
Molmo-72B-0924		Qwen2-72B	81.2

W&B 日志：预训练、微调

数据下载与设置

Molmo 大多数数据都使用 Hugging Face 的数据集，因此大部分数据会存储在默认的 Hugging Face 缓存目录中。如何设置缓存目录，请参阅 这里。此外，部分额外数据会单独存储在由 MOLMO_DATA_DIR 设置的路径中。

例如，如果您希望将数据存储在 /data/molmo 目录下，可以执行以下命令：

export MOLMO_DATA_DIR=/data/molmo
export HF_HOME=/data/molmo/huggingface

之后，可以通过以下命令下载数据：

python3 scripts/download.py all --n_proc 12

下载 PixMo 数据集需要从 URL 下载图片。下载脚本会自动完成此操作，但可能需要一些时间。从头开始完整下载可能需要长达一天。增加并行进程数可以加快速度，但也可能增加被限流的风险。

如果下载过程中被取消或出现错误，可以从中断的地方继续下载。

部分数据集（如 InfoQa 和 Scene-Text）需要手动下载文件。如果这些文件未找到，下载脚本会报错。

下载 Android Control 数据集还需要额外的依赖项，因为它需要解析原始的 TFRecord 文件。

要下载特定的数据集，只需指定数据集名称并运行：

python3 scripts/download_data.py ChartQa --n_proc 12

数据可视化

数据下载完成后，可以使用 scripts/dataset_visualize.py 脚本进行可视化：

python3 scripts/dataset_visualize.py chart_qa /path/to/viz/dir

预训练模型

我们发布了预训练和微调后的模型权重，格式与本代码库兼容。微调后的权重与 Hugging Face 仓库中的权重一致，但格式略有不同。配置文件与本仓库向后兼容，不过格式也稍有差异。

模型	预训练	微调
MolmoE-1B-0924	预训练	微调
Molmo-7B-O-0924	预训练	微调
Molmo-7B-D-0924	预训练	微调
Molmo-72B-0924	预训练	微调

使用这些模型时，只需下载文件并解压即可。每个文件夹中都包含所需的配置文件和模型权重。例如：

wget https://storage.googleapis.com/oe-training-public/Molmo-0924/Molmo-7B-D-0924.tar
tar -xf Molmo-7B-D-0924.tar 

模型评估

评估通过 launch_scripts/eval_downstream.py 脚本进行。对于大型模型或高分辨率处理任务，可以使用 FSDP 来加速评估。需要注意的是，使用 vLLM 版本的 Molmo 进行推理会显著更快，但我们报告的大多数结果都是基于本地评估得出的。

要对单个任务进行评估，只需指定任务名称，或 任务名称:分割：

torchrun --nproc-per-node 8 launch_scripts/eval_downstream.py Molmo-7B-D-0924 text_vqa --save_to_checkpoint_dir

对于大多数任务，我们会以高分辨率进行评估：

torchrun --nproc-per-node 8 launch_scripts/eval_downstream.py Molmo-7B-D-0924 text_vqa --save_to_checkpoint_dir --high_res --fsdp --device_batch_size=2

--fsdp 标志会启用 FSDP，这对于避免在高分辨率下出现内存不足问题至关重要。

要评估我们的默认评估集（包括论文中的 11 个任务），可以执行以下命令：

torchrun --nproc-per-node 8 launch_scripts/eval_downstream.py Molmo-7B-D-0924 low-res --save_to_checkpoint_dir
torchrun --nproc-per-node 8 launch_scripts/eval_downstream.py Molmo-7B-D-0924 high-res --save_to_checkpoint_dir --high_res --fsdp --device_batch_size=2

若需获取测试数据，可使用 low-res-test 和 high-res-test。部分测试结果可能需要重新格式化预测文件，然后提交到测试服务器。

要用本代码库评估 72B 模型，您需要在多个节点上运行，并可能需要设置 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True。

这些脚本会将指标和预测结果保存到指定目录。后续再次运行评估脚本时，如果存在缓存的指标，则会直接使用缓存结果；若需覆盖缓存结果，可使用 --overwrite 标志。

使用 VLMEvalkit 进行评估

也可以通过 open-compass/VLMEvalKit 对 Hugging Face 上的模型进行评估。请参考 PR#648，了解支持的提示词和评估设置，以便复现论文中的结果。不过，某些数据集（如 PixMo-Count）并不受支持。

用于初始化的预训练模型

端到端训练需要下载用于初始化 Molmo 的预训练模型。这可以通过 scripts/convert_hf_to_molmo.py 脚本完成。

例如，要加载 Qwen2 LLM 和 OpenAI CLIP 模型，可以运行以下命令：

python3 scripts/convert_hf_to_molmo.py qwen2_7b
python3 scripts/convert_hf_to_molmo.py openai

模型将从 Hugging Face 下载，转换为兼容格式后，保存到 MOLMO_DATA_DIR 目录中。

预训练

主训练脚本是 scripts/train.py。要训练模型，您可以构建一个配置文件并将其传递给该脚本，或者调用 launch_scripts 中的高级辅助脚本之一，这些脚本会根据一些高级设置构建底层配置，然后为您调用训练脚本。

要启动调试运行：

torchrun --nproc-per-node=1 launch_scripts/train_captioner.py debug --save_folder=/path/to/save/folder

要用 Qwen2 LLM 和 CLIP 视觉编码器进行训练：

WANDB_API_KEY=key torchrun --nproc-per-node=8 launch_scripts/train_captioner.py qwen2_7b --wandb.name=run_name --wandb.entity=entity --wandb.project=project --save_folder=/path/to/save/folder

您还可以使用其他视觉编码器，包括 SigLIP、MetaCLIP 和 DINOv2，只需添加 --vision_backbone=model_name 选项即可。

如果不想使用 Weights & Biases，可以这样运行：

torchrun --nproc-per-node=8 launch_scripts/train_captioner.py qwen2_7b --wandb=null --save_folder=/path/to/save/folder

多任务训练

多任务训练可以使用 launch_scripts/multtask_train.py 来完成，例如：

WANDB_API_KEY=key torchrun --nproc-per-node=8 launch_scripts/train_multitask_model.py 3.2-synthetic /path/to/checkpoint --wandb.name=run_name --wandb.entity=entity --wandb.project=project --save_folder=/path/to/save/folder

其中 3.2-synthetic 指的是使用的训练数据混合比例，而 /path/to/checkpoint 则指向一个用于开始训练的模型检查点，通常是密集字幕生成模型。

要启动调试运行：

torchrun --nproc-per-node=1 launch_scripts/train_multitask_model.py debug debug --save_folder=dbg --save_overwrite

训练变更

我们训练的已发布 Molmo 模型与本仓库将生成的模型之间存在一些细微差异。

• 图像 URL 可能无法下载，这会导致数据量略有减少。
• PixMo-Clocks 默认情况下不被使用，因为它需要一个更复杂的下载脚本，我们仍在考虑如何移植该脚本。

多节点

在每个节点上执行带有适当参数的 torchrun 命令，应该可以实现多节点训练或评估。

我们建议先确保数据已下载完毕，然后使用环境变量 HF_DATASETS_OFFLINE=1，以防止各节点在初始化时同时向 Hugging Face 发起大量请求而导致被限流。

引用

@article{molmo2024,
  title={Molmo 和 PixMo：面向最先进多模态模型的开放权重与开放数据},
  author={Matt Deitke、Christopher Clark、Sangho Lee、Rohun Tripathi、Yue Yang、Jae Sung Park、Mohammadreza Salehi、Niklas Muennighoff、Kyle Lo、Luca Soldaini、Jiasen Lu、Taira Anderson、Erin Bransom、Kiana Ehsani、Huong Ngo、YenSung Chen、Ajay Patel、Mark Yatskar、Chris Callison-Burch、Andrew Head、Rose Hendrix、Favyen Bastani、Eli VanderBilt、Nathan Lambert、Yvonne Chou、Arnavi Chheda、Jenna Sparks、Sam Skjonsberg、Michael Schmitz、Aaron Sarnat、Byron Bischoff、Pete Walsh、Chris Newell、Piper Wolters、Tanmay Gupta、Kuo-Hao Zeng、Jon Borchardt、Dirk Groeneveld、Jen Dumas、Crystal Nam、Sophie Lebrecht、Caitlin Wittlif、Carissa Schoenick、Oscar Michel、Ranjay Krishna、Luca Weihs、Noah A. Smith、Hannaneh Hajishirzi、Ross Girshick、Ali Farhadi、Aniruddha Kembhavi},
  journal={arXiv 预印本 arXiv:2409.17146},
  year={2024}
}

Molmo 快速上手指南

Molmo 是 Allen Institute for AI (Ai2) 推出的开源多模态大语言模型（VLM）系列，支持图像理解、详细描述生成及复杂视觉问答。本指南帮助中国开发者快速完成环境配置与基础使用。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10 (强烈推荐，其他版本可能不兼容)
• GPU: 支持 CUDA 的 NVIDIA 显卡（显存需求视模型大小而定，7B 模型建议 24GB+，72B 需多卡或多节点）
• 前置依赖:
  • 已安装与系统匹配的 PyTorch (含 CUDA 支持)。
  • Git 客户端。

注意：若需训练或评估 MolmoE-1B (混合专家模型)，需额外安装 megablocks。

2. 安装步骤

2.1 克隆代码库并安装依赖

git clone https://github.com/allenai/molmo.git
cd molmo
pip install -e .[all]

2.2 可选：安装 MoE 支持

如果您计划使用 MolmoE-1B 模型，请执行以下命令：

pip install git+https://github.com/Muennighoff/megablocks.git@olmoe

2.3 配置数据缓存路径 (可选但推荐)

Molmo 默认使用 Hugging Face 缓存。为避免占用系统盘空间，建议设置环境变量指向大容量存储目录：

export MOLMO_DATA_DIR=/data/molmo
export HF_HOME=/data/molmo/huggingface

2.4 下载数据集 (如需训练或本地评估)

如果需要下载预训练或微调数据集（如 PixMo 系列），可使用官方脚本。全量下载耗时较长，支持断点续传：

python3 scripts/download.py all --n_proc 12

若只需下载特定数据集（例如 ChartQA）：

python3 scripts/download_data.py ChartQa --n_proc 12

3. 基本使用

Molmo 模型权重可通过 Hugging Face 直接加载，或下载官方发布的 Tar 包使用。以下展示最通用的 Hugging Face Transformers 调用方式（需确保已安装 transformers 最新版）。

3.1 最简单的推理示例

以下代码演示如何加载 Molmo-7B-D 模型并进行简单的图像问答。

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForCausalLM

# 1. 指定模型名称 (推荐使用效果最好的 7B-D 版本)
model_name = "allenai/Molmo-7B-D-0924"

# 2. 加载处理器和模型
processor = AutoProcessor.from_pretrained(
    model_name,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# 3. 准备输入 (图像 + 问题)
# 请替换为您的本地图片路径或 URL
image = Image.open("path/to/your/image.jpg") 
prompt = "Please describe this image in detail."

inputs = processor.process(
    images=[image],
    text=prompt,
    return_tensors="pt"
).to(model.device)

# 4. 生成回答
output = model.generate_from_batch(
    inputs,
    generation_config=dict(max_new_tokens=200, stop_strings="<|endofthought|>"),
    tokenizer=processor.tokenizer
)

# 5. 解析输出
generated_ids = output.sequences[0][inputs['input_ids'].shape[1]:]
response = processor.tokenizer.decode(generated_ids, skip_special_tokens=True)

print(response)

3.2 运行官方评估脚本

若需复现论文中的基准测试成绩（如 TextVQA），可使用内置的评估脚本。支持 FSDP 以处理高分辨率图像：

# 单任务评估示例 (TextVQA)
torchrun --nproc-per-node 8 launch_scripts/eval_downstream.py Molmo-7B-D-0924 text_vqa --save_to_checkpoint_dir

# 高分辨率评估 (需开启 FSDP 防止显存溢出)
torchrun --nproc-per-node 8 launch_scripts/eval_downstream.py Molmo-7B-D-0924 text_vqa --save_to_checkpoint_dir --high_res --fsdp --device_batch_size=2

提示：对于生产环境的高并发推理，建议使用社区适配的 vLLM 版本，其推理速度显著优于原生代码库。