━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
解锁语言模型的推理潜能
从预训练到后训练
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

---

更新

[2025.05.30] 我们将SFT数据集规模从约50万条扩展至600万条，并持续将强化学习训练窗口大小由3.2万扩大至4.8万。在此基础上训练的MiMo-7B-RL-0530在AIME24上的表现不断提升，最终有望超越DeepSeek R1（79.8分）。

基准测试	MiMo-7B-RL	MiMo-7B-RL-0530
数学
MATH500 (Pass@1)	95.8	97.2
AIME 2024 (Pass@1)	68.2	80.1
AIME 2025 (Pass@1)	55.4	70.2
代码
LiveCodeBench v5 (Pass@1)	57.8	60.9
LiveCodeBench v6 (Pass@1)	49.3	52.2
STEM
GPQA-Diamond (Pass@1)	54.4	60.6
通用
Alignbench1.1 (由GPT4.1评估)	6.9	7.4

---

I. 引言

目前，大多数成功的强化学习工作，包括开源研究，都依赖于相对较大的基础模型，例如32B参数量的模型，尤其是在提升代码推理能力方面。此外，人们普遍认为，在小型模型中同时实现数学和代码能力的均衡提升是极具挑战性的。然而，我们认为，强化学习训练后的推理模型效果，关键在于基础模型本身的推理潜力。要充分释放语言模型的推理潜能，不仅需要关注后训练阶段，还应着重于针对推理任务优化的预训练策略。

在本工作中，我们提出了MiMo-7B系列模型，这些模型从零开始训练，专为推理任务而生。我们的实验表明，即使是基于MiMo-7B-Base的基础模型，也展现出非凡的推理潜力，甚至超越了许多更大的32B模型。此外，我们还在冷启动的SFT模型上进行了强化学习训练，得到了MiMo-7B-RL，该模型在数学和代码推理任务上均表现出色，性能可与OpenAI o1-mini相媲美。

我们开源了MiMo-7B系列模型，包括基础模型、SFT模型、基于基础模型训练的RL模型以及基于SFT模型训练的RL模型的检查点。我们相信，这份报告及相应模型将为开发强大的推理型大语言模型提供宝贵见解，从而惠及更广泛的社区。

🌟 亮点

• 预训练：专为推理而生的基础模型

  • 我们优化了数据预处理流程，增强了文本提取工具，并采用多维度的数据过滤方法，以提高预训练数据中的推理模式密度。同时，我们还运用多种策略生成大量多样化的合成推理数据。
  • 在预训练阶段，我们采用了三阶段的数据混合策略。总体而言，MiMo-7B-Base是在约25万亿个token上进行预训练的。
  • 我们引入了多令牌预测作为额外的训练目标，这不仅提升了模型性能，还加速了推理过程。

• 后训练方案：开创性推理模型

  • 我们精心筛选了13万个数学和代码问题作为强化学习训练数据，并通过基于规则的验证器进行校验。每个问题都经过仔细清洗和难度评估，以确保质量。我们仅使用基于规则的准确率奖励，以避免潜在的奖励欺骗问题。
  • 针对具有挑战性的代码问题奖励稀疏的问题，我们引入了一种基于测试难度的代码奖励机制。通过对不同难度级别的测试用例赋予细粒度的分数，策略能够通过密集的奖励信号得到更有效的优化。
  • 对于简单问题，我们实施了数据重采样策略，以提高回放采样的效率并稳定策略更新，特别是在强化学习训练的后期阶段。

• 强化学习基础设施

  • 我们开发了一款无缝回放引擎，用于加速强化学习的训练和验证。该设计集成了连续回放、异步奖励计算和提前终止等功能，最大限度地减少了GPU空闲时间，使训练速度提升了2.29倍，验证速度提升了1.96倍。
  • 我们在vLLM中支持MTP，并增强了强化学习系统中推理引擎的鲁棒性。

二、模型细节

MiMo-7B 的 MTP 层在预训练和 SFT 阶段进行微调，而在 RL 阶段则被冻结。配备一个用于推测解码的 MTP 层后，接受率约为 90%。

模型可在 https://huggingface.co/XiaomiMiMo 和 https://www.modelscope.cn/organization/XiaomiMiMo 上获取。

模型	描述	HuggingFace 下载链接	ModelScope 下载链接
MiMo-7B-Base	具有非凡推理潜力的基础模型	🤗 XiaomiMiMo/MiMo-7B-Base	🤖️ XiaomiMiMo/MiMo-7B-Base
MiMo-7B-RL-Zero	从基础模型训练而来的 RL 模型	🤗 XiaomiMiMo/MiMo-7B-RL-Zero	🤖️ XiaomiMiMo/MiMo-7B-RL-Zero
MiMo-7B-SFT	从基础模型训练而来的 SFT 模型	🤗 XiaomiMiMo/MiMo-7B-SFT	🤖️ XiaomiMiMo/MiMo-7B-SFT
MiMo-7B-RL	从 SFT 模型训练而来的 RL 模型，性能优越，媲美 OpenAI o1-mini	🤗 XiaomiMiMo/MiMo-7B-RL	🤖️ XiaomiMiMo/MiMo-7B-RL

三、评估结果

基准测试	GPT-4o-0513	Claude-3.5-Sonnet-1022	OpenAI o1-mini	QwQ-32B-Preview	R1-Distill-Qwen-14B	R1-Distill-Qwen-7B	MiMo-7B-RL
通用能力
GPQA Diamond (Pass@1)	49.9	65.0	60.0	54.5	59.1	49.1	54.4
SuperGPQA (Pass@1)	42.4	48.2	45.2	43.6	40.6	28.9	40.5
DROP (3-shot F1)	83.7	88.3	83.9	71.2	85.5	77.0	78.7
MMLU-Pro (EM)	72.6	78.0	80.3	52.0	68.8	53.5	58.6
IF-Eval (Prompt Strict)	84.3	86.5	84.8	40.4	78.3	60.5	61.0
数学能力
MATH-500 (Pass@1)	74.6	78.3	90.0	90.6	93.9	92.8	95.8
AIME 2024 (Pass@1)	9.3	16.0	63.6	50.0	69.7	55.5	68.2
AIME 2025 (Pass@1)	11.6	7.4	50.7	32.4	48.2	38.8	55.4
代码能力
LiveCodeBench v5 (Pass@1)	32.9	38.9	53.8	41.9	53.1	37.6	57.8
LiveCodeBench v6 (Pass@1)	30.9	37.2	46.8	39.1	31.9	23.9	49.3

MiMo-7B 系列

基准测试	MiMo-7B-Base	MiMo-7B-RL-Zero	MiMo-7B-SFT	MiMo-7B-RL
数学能力
MATH500 (Pass@1)	37.4	93.6	93.0	95.8
AIME 2024 (Pass@1)	32.9	56.4	58.7	68.2
AIME 2025 (Pass@1)	24.3	46.3	44.3	55.4
代码能力
LiveCodeBench v5 (Pass@1)	32.9	49.1	52.3	57.8
LiveCodeBench v6 (Pass@1)	29.1	42.9	45.5	49.3

[!IMPORTANT] 评估是在 temperature=0.6 的条件下进行的。

AIME24 和 AIME25 是基于 32 次重复的平均得分。LiveCodeBench v5（20240801-20250201）、LiveCodeBench v6（20250201-20250501）、GPQA-Diamond 和 IF-Eval 是基于 8 次重复的平均得分。MATH500 和 SuperGPQA 则是单次运行的结果。

四、部署

SGLang 推理

得益于 SGLang 团队对 MiMo 模型的支持以及 MTP 支持，我们已在 SGLang 主流版本中成功支持 MiMo。

示例脚本

# 从主分支安装最新版 SGlang
python3 -m uv pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git/@main#egg=sglang&subdirectory=python"

# 启动 SGLang 服务器
python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-RL-0530 --host 0.0.0.0 --trust-remote-code

# 启动 MTP 服务器
python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-RL-0530 --trust-remote-code \
--speculative-algorithm EAGLE --speculative-num-steps 1 --speculative-eagle-topk 1 \
--speculative-num-draft-tokens 2  --mem-fraction 0.5

详细用法请参阅 SGLang 文档。

vLLM 推理

1. 【推荐】我们官方支持使用 我们对 vLLM 的分支 进行 MiMo-MTP 的推理。

示例脚本：

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

conversation = [
    {
        "role": "system",
        "content": ""
    },
    {
        "role": "user",
        "content": "写一篇关于高等教育重要性的文章。",
    },
]

outputs = llm.chat(conversation,
                   sampling_params=sampling_params,
                   use_tqdm=False)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

print("=" * 80)

2. 或者，您也可以注册一个用于 MiMo 的 vLLM 加载器，而无需加载 MTP 参数。

您可以将 registry/register_mimo_in_vllm.py 复制到您的目录中，并通过以下方式导入：

import register_mimo_in_vllm

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    # num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

HuggingFace 推理

示例脚本：

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

model_id = "XiaomiMiMo/MiMo-7B-RL-0530"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer(["今天是"], return_tensors='pt')
output = model.generate(**inputs, max_new_tokens = 100)
print(tokenizer.decode(output.tolist()[0]))

推荐环境与提示

• 我们建议使用基于 vLLM 0.7.3 开发的 我们对 vLLM 的分支。
• 我们建议使用空的系统提示。

我们尚未在其他推理引擎上验证 MiMo，欢迎基于 Huggingface 仓库中的模型定义进行贡献 💻。

V. 引用

@misc{coreteam2025mimounlockingreasoningpotential,
      title={MiMo: 解锁语言模型的推理潜力——从预训练到后训练}, 
      author={小米 LLM 核心团队},
      year={2025},
      eprint={2505.07608},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.07608}, 
}

VI. 联系方式

如有任何问题，请通过 mimo@xiaomi.com 联系我们，或提交 issue。

MiMo 快速上手指南

MiMo 是小米开源的专为推理任务打造的 7B 语言模型系列。该模型在数学和代码推理方面表现卓越，甚至在部分基准测试中超越了更大的 32B 模型及 OpenAI o1-mini。本指南将帮助您快速部署并使用 MiMo 模型。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: 支持 CUDA 的 NVIDIA 显卡 (推荐显存 ≥ 16GB 以运行 7B 模型)
• CUDA 版本: 12.1 或更高
• Python: 3.10 或更高

前置依赖

确保已安装以下基础工具：

• Git
• Python pip
• CUDA Toolkit

安装步骤

1. 克隆项目与安装依赖

首先克隆仓库并安装核心依赖。国内用户建议使用镜像源加速下载。

git clone https://github.com/XiaomiMiMo/MiMo.git
cd MiMo

# 安装基础依赖 (推荐使用国内镜像源)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装推理引擎 (推荐 SGLang)

MiMo 官方推荐使用 SGLang 进行高效推理，因其原生支持 MiMo 架构及多令牌预测 (MTP) 加速功能。

# 安装最新版本的 SGLang
pip install "sglang[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple

注意: 如果使用 vLLM 或其他引擎，请确保版本支持 MTP (Multi-Token Prediction) 特性以获得最佳性能。

3. 下载模型权重

您可以从 HuggingFace 或国内的 ModelScope (魔搭社区) 下载模型。国内开发者强烈推荐通过 ModelScope 下载以获得更快的速度。

方式 A: 使用 ModelScope (推荐)

# 安装 modelscope 库
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

# 下载 MiMo-7B-RL 模型 (推理性能最强版本)
python -c "from modelscope import snapshot_download; snapshot_download('XiaomiMiMo/MiMo-7B-RL', cache_dir='./models')"

方式 B: 使用 HuggingFace

# 需确保网络通畅或配置代理
huggingface-cli download --resume-download XiaomiMiMo/MiMo-7B-RL --local-dir ./models/MiMo-7B-RL

可用模型版本说明：

• MiMo-7B-Base: 基座模型
• MiMo-7B-SFT: 监督微调模型
• MiMo-7B-RL: 推荐，基于 SFT 进行强化学习训练，数学与代码能力最强

基本使用

使用 SGLang 启动服务

利用 SGLang 启动 MiMo 模型服务，自动启用 MTP 加速。

# 启动 API 服务
# --model-path 指向下载的模型目录
# --tp 设置张量并行数，根据显卡数量调整 (单卡设为 1)
python -m sglang.launch_server \
    --model-path ./models/XiaomiMiMo/MiMo-7B-RL \
    --port 30000 \
    --tp 1

发送推理请求

服务启动后，可以通过 Python 脚本或 curl 命令进行测试。以下是一个简单的数学推理示例：

import requests

url = "http://localhost:30000/generate"
payload = {
    "text": "Solve the following math problem step by step: What is the sum of numbers from 1 to 100?",
    "sampling_params": {
        "temperature": 0.6,  # 官方推荐温度设置
        "max_new_tokens": 2048
    }
}

response = requests.post(url, json=payload)
print(response.json()['text'])

关键参数提示

• Temperature: 官方评估建议使用 temperature=0.6 以获得最佳推理效果。
• MTP 加速: MiMo 包含一个 MTP 层，在 SGLang 中默认开启投机解码，接受率约为 90%，可显著提升生成速度。