MiMo-V2-Flash

MiMo-V2-Flash 是一种专家混合模型（MoE），总参数量达 3090亿，活跃参数量为 150亿。该模型专为高速推理和智能体工作流而设计，采用新颖的混合注意力架构和多标记预测（MTP）技术，在显著降低推理成本的同时，实现了业界领先的性能。

---

1. 简介

MiMo-V2-Flash 在长上下文建模能力和推理效率之间取得了全新的平衡。其主要特性包括：

• 混合注意力架构：以 5:1 的比例交替使用滑动窗口注意力（SWA）和全局注意力（GA），并采用激进的 128 个标记窗口。这一设计将 KV 缓存存储需求降低了近 6 倍，同时通过可学习的 注意力汇点偏置 维持了长上下文性能。
• 多标记预测（MTP）：配备轻量级 MTP 模块（每层 0.33B 参数），采用密集前馈网络实现。这使得推理时的输出速度提升至三倍，并有望加速强化学习训练中的部署过程。
• 高效的预训练：使用 FP8 混合精度和原生 32k 序列长度，在 27T 标记数据上进行训练。上下文窗口最长可达 256k 标记。
• 智能体能力：在后训练阶段采用多教师在线策略蒸馏（MOPD）和大规模智能体强化学习，从而在 SWE-Bench 和复杂推理任务中表现出色。

---

2. 模型下载

模型	总参数	活跃参数	上下文长度	下载
MiMo-V2-Flash-Base	309B	15B	256k	🤗 HuggingFace
MiMo-V2-Flash	309B	15B	256k	🤗 HuggingFace

[!重要提示] 我们还开源了 3 层 MTP 权重，以促进社区研究。

---

3. 评估结果

基础模型评估

MiMo-V2-Flash-Base 在标准基准测试中表现出色，超越了参数量远超其自身的模型。

类别	基准测试	设置/长度	MiMo-V2-Flash Base	Kimi-K2 Base	DeepSeek-V3.1 Base	DeepSeek-V3.2 Exp Base
参数量	激活参数 / 总参数	-	150亿 / 3090亿	320亿 / 10430亿	370亿 / 6710亿	370亿 / 6710亿
通用任务	BBH	3-shot	88.5	88.7	88.2	88.7
	MMLU	5-shot	86.7	87.8	87.4	87.8
	MMLU-Redux	5-shot	90.6	90.2	90.0	90.4
	MMLU-Pro	5-shot	73.2	69.2	58.8	62.1
	DROP	3-shot	84.7	83.6	86.3	86.6
	ARC-Challenge	25-shot	95.9	96.2	95.6	95.5
	HellaSwag	10-shot	88.5	94.6	89.2	89.4
	WinoGrande	5-shot	83.8	85.3	85.9	85.6
	TriviaQA	5-shot	80.3	85.1	83.5	83.9
	GPQA-Diamond	5-shot	55.1	48.1	51.0	52.0
	SuperGPQA	5-shot	41.1	44.7	42.3	43.6
	SimpleQA	5-shot	20.6	35.3	26.3	27.0
数学	GSM8K	8-shot	92.3	92.1	91.4	91.1
	MATH	4-shot	71.0	70.2	62.6	62.5
	AIME 24&25	2-shot	35.3	31.6	21.6	24.8
代码	HumanEval+	1-shot	70.7	84.8	64.6	67.7
	MBPP+	3-shot	71.4	73.8	72.2	69.8
	CRUXEval-I	1-shot	67.5	74.0	62.1	63.9
	CRUXEval-O	1-shot	79.1	83.5	76.4	74.9
	MultiPL-E HumanEval	0-shot	59.5	60.5	45.9	45.7
	MultiPL-E MBPP	0-shot	56.7	58.8	52.5	50.6
	BigCodeBench	0-shot	70.1	61.7	63.0	62.9
	LiveCodeBench v6	1-shot	30.8	26.3	24.8	24.9
	SWE-Bench (AgentLess)	3-shot	30.8	28.2	24.8	9.4*
中文	C-Eval	5-shot	87.9	92.5	90.0	91.0
	CMMLU	5-shot	87.4	90.9	88.8	88.9
	C-SimpleQA	5-shot	61.5	77.6	70.9	68.0
多语言	GlobalMMLU	5-shot	76.6	80.7	81.9	82.0
	INCLUDE	5-shot	71.4	75.3	77.2	77.2
长上下文	NIAH-Multi	32K	99.3	99.8	99.7	85.6*
		64K	99.9	100.0	98.6	85.9*
		128K	98.6	99.5	97.2	94.3*
		256K	96.7	-	-	-
	GSM-Infinite Hard	16K	37.7	34.6	41.5	50.4
		32K	33.7	26.1	38.8	45.2
		64K	31.5	16.0	34.7	32.6
		128K	29.0	8.8	28.7	25.7

* 表示该模型可能未能遵循提示或格式要求。

训练后模型评估

遵循我们的基于MOPD和智能体强化学习的训练后范式，该模型在推理能力和智能体性能方面均达到了当前最优水平。

基准测试	MiMo-V2 Flash	Kimi-K2 Thinking	DeepSeek-V3.2 Thinking	Gemini-3.0 Pro	Claude Sonnet 4.5	GPT-5 High
推理
MMLU-Pro	84.9	84.6	85.0	90.1	88.2	87.5
GPQA-Diamond	83.7	84.5	82.4	91.9	83.4	85.7
HLE (无工具)	22.1	23.9	25.1	37.5	13.7	26.3
AIME 2025	94.1	94.5	93.1	95.0	87.0	94.6
HMMT Feb. 2025	84.4	89.4	92.5	97.5	79.2	88.3
LiveCodeBench-v6	80.6	83.1	83.3	90.7	64.0	84.5
通用写作
Arena-Hard (困难提示)	54.1	71.9	53.4	72.6	63.3	71.9
Arena-Hard (创意写作)	86.2	80.1	88.8	93.6	76.7	92.2
长上下文
LongBench V2	60.6	45.1	58.4	65.6	61.8	-
MRCR	45.7	44.2	55.5	89.7	55.4	-
代码智能体
SWE-Bench 验证版	73.4	71.3	73.1	76.2	77.2	74.9
SWE-Bench 多语言版	71.7	61.1	70.2	-	68.0	55.3
Terminal-Bench 困难版	30.5	30.6	35.4	39.0	33.3	30.5
Terminal-Bench 2.0	38.5	35.7	46.4	54.2	42.8	35.2
通用智能体
BrowseComp	45.4	-	51.4	-	24.1	54.9
BrowseComp (带上下文管理)	58.3	60.2	67.6	59.2	-	-
$\tau^2$-Bench	80.3	74.3	80.3	85.4	84.7	80.2

---

4. 模型架构

混合滑动窗口注意力

MiMo-V2-Flash通过交错使用局部滑动窗口注意力（SWA）和全局注意力（GA），解决了长上下文带来的二次复杂度问题。

• 配置: 由$M=8$个混合块堆叠而成。每个块包含$N=5$层SWA，随后是一层GA。
• 效率: SWA层采用128个标记的窗口大小，显著减少了KV缓存。
• Sink偏置: 应用了可学习的注意力sink偏置，以在激进的窗口大小下仍保持性能。

轻量级多标记预测（MTP）

与传统的推测解码不同，我们的MTP模块在训练和推理中都是原生集成的。

• 结构: 使用密集FFN（而非MoE）和SWA（而非GA），以保持较低的参数量（每个块0.33B）。
• 性能: 促进了自推测解码，使生成速度提高三倍，并缓解了小批量强化学习训练中的GPU空闲问题。

---

5. 训练后技术亮点

MiMo-V2-Flash利用一套训练后流水线，通过创新的知识蒸馏和强化学习策略，最大限度地提升推理和智能体能力。

5.1 多教师在线策略知识蒸馏（MOPD）

我们引入了多教师在线策略知识蒸馏（MOPD），这是一种将知识蒸馏表述为强化学习过程的新范式。

• 密集的标记级指导: 与依赖稀疏序列级反馈的方法不同，MOPD利用领域专家模型（教师）在每个标记位置提供监督。
• 在线策略优化: 学生模型从自身生成的响应中学习，而不是从固定的数据集中学习。这消除了暴露偏差，并确保更小、更稳定的梯度更新。
• 固有的奖励鲁棒性: 奖励来源于学生和教师之间的分布差异，使整个过程自然抵抗奖励欺骗。

5.2 扩展智能体强化学习

我们大幅扩展了智能体训练环境，以提升智能和泛化能力。

• 大规模代码智能体环境: 我们利用真实的GitHub问题创建了超过10万个可验证的任务。我们的自动化流水线维护着一个Kubernetes集群，能够运行超过1万个并发Pod，环境搭建成功率达到70%。
• 面向Web开发的多模态验证器: 对于Web开发任务，我们采用基于视觉的验证器，通过录制视频而非静态截图来评估代码执行情况。这减少了视觉幻觉，确保功能正确性。
• 跨领域泛化: 我们的实验表明，大规模的代码智能体强化学习训练能够有效泛化到其他领域，从而提升数学和通用智能体任务的表现。

5.3 高级强化学习基础设施

为了支持大规模MoE模型的高吞吐量强化学习训练，我们在SGLang和Megatron-LM的基础上实现了多项基础设施优化。

• Rollout路由重放（R3）：解决推理与训练过程中MoE路由在数值精度上的不一致问题。R3在训练阶段复用推理阶段精确路由选择出的专家，从而确保一致性，且开销极低。
• 请求级前缀缓存：在多轮对话式智能体训练中，该缓存会存储前几轮的KV状态及路由选择的专家。它避免了重复计算，并保证各轮之间的采样一致性。
• 细粒度数据调度器：我们将推理引擎扩展为按细粒度序列而非微批次进行调度。结合部分推理机制，这显著减少了因长尾延迟任务导致的GPU空闲时间。
• 工具箱与工具管理器：采用两层设计，利用Ray Actor池来处理资源竞争问题。它消除了工具执行的冷启动延迟，并将任务逻辑与系统策略隔离开来。

---

6. 推理与部署

MiMo-V2-Flash支持FP8混合精度推理。我们推荐使用SGLang以获得最佳性能。

使用SGLang快速入门

请参照https://lmsys.org/blog/2025-12-16-mimo-v2-flash/，按照以下方式安装兼容版本的SGLang。

pip install sglang==0.5.6.post2.dev8005+pr.15207.g39d5bd57a \
  --index-url https://sgl-project.github.io/whl/pr/ \
  --extra-index-url https://pypi.org/simple

#启动服务端
SGLANG_ENABLE_SPEC_V2=1 python3 -m sglang.launch_server \
        --model-path XiaomiMiMo/MiMo-V2-Flash \
        --served-model-name mimo-v2-flash \
        --pp-size 1 \
        --dp-size 2 \
        --enable-dp-attention \
        --tp-size 8 \
        --moe-a2a-backend deepep \
        --page-size 1 \
        --host 0.0.0.0 \
        --port 9001 \
        --trust-remote-code \
        --mem-fraction-static 0.75 \
        --max-running-requests 128 \
        --chunked-prefill-size 16384 \
        --reasoning-parser qwen3 \
        --tool-call-parser mimo \
        --context-length 262144 \
        --attention-backend fa3 \
        --speculative-algorithm EAGLE \
        --speculative-num-steps 3 \
        --speculative-eagle-topk 1 \
        --speculative-num-draft-tokens 4 \
        --enable-mtp

#发送请求
curl -i http://localhost:9001/v1/chat/completions \
    -H 'Content-Type:application/json' \
    -d  '{
            "messages" : [{
                "role": "user",
                "content": "Nice to meet you MiMo"
            }],
            "model": "mimo-v2-flash",
            "max_tokens": 4096,
            "temperature": 0.8,
            "top_p": 0.95,
            "stream": true,
            "chat_template_kwargs": {
                "enable_thinking": true
            }
        }'

通知事项

1. 系统提示词

[!IMPORTANT] 强烈建议使用以下系统提示词，请从英文版或中文版中选择。

英文：

You are MiMo, an AI assistant developed by Xiaomi.

Today's date: {date} {week}. Your knowledge cutoff date is December 2024.

中文：

你是MiMo（中文名称也是MiMo），是小米公司研发的AI智能助手。

今天的日期：{date} {week}，你的知识截止日期是2024年12月。

2. 采样参数

[!IMPORTANT] 推荐的采样参数如下：

top_p=0.95

数学、写作、Web开发等任务可设置为temperature=0.8；

对于代理类任务（如氛围编码、工具调用等），建议设置为temperature=0.3。

3. 工具使用注意事项

[!IMPORTANT] 在多轮工具调用的思考模式下，模型会在返回tool_calls的同时附带reasoning_content字段。若要继续对话，用户必须将所有历史reasoning_content保留在后续每次请求的messages数组中。

---

7. 引用

如果您觉得我们的工作有所帮助，请引用我们的技术报告：

@misc{xiao2026mimov2flashtechnicalreport,
      title={MiMo-V2-Flash 技术报告}, 
      author={LLM-Core Xiaomi},
      year={2026},
      eprint={2601.02780},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2601.02780}, 
}

8. 联系方式

如有任何问题，请通过mimo@xiaomi.com联系我们，加入下方的微信群组，或直接提交问题。

MiMo-V2-Flash 快速上手指南

MiMo-V2-Flash 是小米开源的混合专家（MoE）语言模型，拥有 3090 亿总参数（激活参数仅 150 亿）。该模型专为高速推理和智能体工作流设计，采用混合注意力架构和多令牌预测（MTP）技术，在保持长上下文能力的同时显著降低了推理成本。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10 或更高
• GPU 要求:
  • 推荐使用 NVIDIA A100/H100/H800 等高性能显卡。
  • 由于激活参数仅为 15B，单卡或多卡推理对显存需求相对友好，但加载全量权重仍需充足显存或使用量化/卸载技术。
• 前置依赖:
  • torch (建议 2.1+)
  • transformers (建议最新版以支持 MoE 架构)
  • accelerate
  • huggingface_hub

国内加速建议： 推荐使用国内镜像源安装依赖，并配置 Hugging Face 镜像以加速模型下载。

export HF_ENDPOINT=https://hf-mirror.com
pip install torch transformers accelerate huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

步骤一：克隆仓库（可选）

如果您需要参考官方示例代码或查看技术报告：

git clone https://github.com/XiaomiMiMo/MiMo-V2-Flash.git
cd MiMo-V2-Flash

步骤二：安装核心依赖

创建虚拟环境并安装必要的 Python 包：

python -m venv mimo-env
source mimo-env/bin/activate

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers>=4.46.0 accelerate sentencepiece protobuf

步骤三：验证环境

确保能够导入相关库且无报错：

python -c "import torch; import transformers; print(f'PyTorch: {torch.__version__}')"

3. 基本使用

以下是最简单的使用示例，展示如何加载模型并进行文本生成。

方法 A：使用 Transformers 原生加载

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 模型名称 (可根据需求选择 Base 或指令微调版)
model_name = "XiaomiMiMo/MiMo-V2-Flash"

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 加载模型
# 注意：建议使用 float16 或 bfloat16 以节省显存
# 如果显存不足，可添加 device_map="auto" 启用自动多卡/卸载
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 准备输入
prompt = "请解释一下量子纠缠的基本概念。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成回复
outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

# 解码输出
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

方法 B：利用 MTP 加速推理（进阶）

MiMo-V2-Flash 内置了多令牌预测（MTP）模块，可显著提升推理速度。若使用官方提供的推理脚本或集成库，通常会自动启用此功能。确保您下载的模型包含 MTP 权重（官方已开源 3 层 MTP 权重）。

在线体验

如果您暂时无法本地部署，可以通过以下官方平台直接体验：

• Xiaomi MiMo Studio: https://aistudio.xiaomimimo.com
• API 平台: https://platform.xiaomimimo.com

---

提示：模型支持高达 256k 的上下文窗口。在处理长文档时，请确保您的显存足以支撑 KV Cache，或利用其混合注意力架构（滑动窗口 + 全局注意力）带来的显存优化优势。