摘要

最近，基于矩阵正交化的 Muon 优化器 在小规模语言模型训练中表现出色，但其在更大规模模型上的可扩展性尚未得到验证。我们确定了两个关键的扩展技术：(1) 添加权重衰减，以及 (2) 精心调整每个参数的更新尺度。这些技术使 Muon 能够在无需超参数调优的情况下，直接应用于大规模训练。缩放定律实验表明，与采用计算最优训练的 AdamW 相比，Muon 的计算效率提高了约 2 倍。

基于这些改进，我们推出了 Moonlight，这是一款使用 Muon 训练、参数量为 3B/16B 的专家混合（MoE）模型，训练数据量达 5.7T 标记。我们的模型突破了当前的帕累托前沿，以更少的训练浮点运算次数实现了优于先前模型的性能。

我们开源了内存最优且通信高效的分布式 Muon 实现，并发布了预训练、指令微调及中间检查点，以支持未来的研究。

我们的代码可在 MoonshotAI/Moonlight 获取。

关键要素

我们的工作以 Muon 为基础，同时系统地识别并解决了其在大规模训练场景中的局限性。我们的技术贡献包括：

• 对 Muon 有效扩展的分析：通过深入分析，我们发现权重衰减在 Muon 的可扩展性中起着至关重要的作用。此外，我们提出通过参数级别的更新尺度调整，保持不同矩阵和非矩阵参数之间一致的更新均方根（RMS），从而显著提升了训练稳定性。

• 高效的分布式实现：我们开发了一种基于 ZeRO-1 风格优化的 Muon 分布式版本，在保留算法数学性质的同时，实现了最优的内存效率和更低的通信开销。

• 缩放定律验证：我们进行了缩放定律研究，将 Muon 与强大的 AdamW 基线进行了对比，并展示了 Muon 的优越性能（见图 1）。根据缩放定律的结果，Muon 在仅需约 52% 训练浮点运算次数的情况下，便能达到与采用 AdamW 训练的模型相当的性能。

性能

我们把用 Muon 训练的轻量级模型命名为“Moonlight”。我们将 Moonlight 与类似规模的 SOTA 公开模型进行了比较：

• LLAMA3-3B 是一个参数量为 3B 的密集模型，使用 9T 标记进行训练。
• Qwen2.5-3B 是一个参数量为 3B 的密集模型，使用 18T 标记进行训练。
• Deepseek-v2-Lite 是一个参数量为 2.4B/16B 的 MOE 模型，使用 5.7T 标记进行训练。

	基准测试（指标）	Llama3.2-3B	Qwen2.5-3B	DSV2-Lite	Moonlight
	激活参数†	2.81B	2.77B	2.24B	2.24B
	总参数†	2.81B	2.77B	15.29B	15.29B
	训练标记数	9T	18T	5.7T	5.7T
	优化器	AdamW	*	AdamW	Muon
英语	MMLU	54.75	65.6	58.3	70.0
	MMLU-pro	25.0	34.6	25.5	42.4
	BBH	46.8	56.3	44.1	65.2
	TriviaQA‡	59.6	51.1	65.1	66.3
代码	HumanEval	28.0	42.1	29.9	48.1
	MBPP	48.7	57.1	43.2	63.8
数学	GSM8K	34.0	79.1	41.1	77.4
	MATH	8.5	42.6	17.1	45.3
	CMath	-	80.0	58.4	81.1
中文	C-Eval	-	75.0	60.3	77.2
	CMMLU	-	75.0	64.3	78.2

Qwen 2 和 2.5 的报告未披露其优化器信息。†报告的参数数量不包括嵌入参数。‡我们使用完整的 TriviaQA 数据集对所有列出的模型进行了测试。

示例用法

模型下载

使用 Hugging Face Transformers 进行推理

我们介绍如何使用 transformers 库在推理阶段使用我们的模型。建议使用 Python 3.10、PyTorch ≥2.1.0 和 transformers=4.48.2 作为开发环境。

对于我们的预训练模型（Moonlight）：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "moonshotai/Moonlight-16B-A3B"
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

prompt = "1+1=2, 1+2="
inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=100)
response = tokenizer.batch_decode(generated_ids)[0]
print(response)

对于我们的指令微调模型（Moonlight-Instruct）：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "moonshotai/Moonlight-16B-A3B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

messages = [
    {"role": "system", "content": "你是由 Moonshot-AI 提供的助手，乐于助人。"},
    {"role": "user", "content": "123 是质数吗？"}
]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
generated_ids = model.generate(inputs=input_ids, max_new_tokens=500)
response = tokenizer.batch_decode(generated_ids)[0]
print(response)

Moonlight 的架构与 DeepSeek-V3 相同，因此得到了许多流行的推理引擎（如 VLLM 和 SGLang）的支持。这意味着我们的模型也可以轻松地通过这些工具进行部署。

训练

# 使用 muon 训练类 Qwen 的密集模型
python3 examples/toy_train.py --model qwen --optimizer muon --dataset openwebtext-100k --hidden_size 896 --lr 1e-3

# 使用 adamw 训练类 Qwen 的密集模型
python3 examples/toy_train.py --model qwen --optimizer adamw --dataset openwebtext-100k --hidden_size 896 --lr 1e-3

中间检查点

为了支持持续的研究工作，我们即将发布中间检查点。敬请期待……

引用

如果您认为 Moonlight 对您有所帮助，或希望在您的项目中使用它，请引用我们的论文：

@misc{liu2025muonscalablellmtraining,
      title={Muon 适用于大规模 LLM 训练}, 
      author={刘京元、苏建林、姚兴成、蒋哲军、赖国坤、杜宇伦、秦义道、徐伟欣、陆恩哲、闫俊杰、陈燕茹、郑华斌、刘一博、刘绍伟、尹博宏、何维然、朱汉、王宇志、王建洲、董梦楠、张正、康永生、张浩、许新然、张宇涛、吴宇鑫、周信宇、杨志林},
      year={2025},
      eprint={2502.16982},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2502.16982}, 
}

Moonlight 快速上手指南

Moonlight 是由月之暗面（Moonshot AI）开源的混合专家模型（MoE），基于创新的 Muon 优化器训练而成。该模型在仅使用 5.7T token 训练的情况下，实现了优于同规模 AdamW 基线模型的性能，显著提升了训练计算效率。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• PyTorch 版本: >= 2.1.0
• Transformers 版本: 4.48.2
• 硬件要求: 支持 CUDA 的 NVIDIA GPU（推理显存需求视量化情况而定，全精度运行 16B MoE 模型建议显存充足或使用多卡/卸载技术）

依赖安装

建议使用虚拟环境（如 conda 或 venv）进行隔离。

# 创建并激活 conda 环境
conda create -n moonlight python=3.10
conda activate moonlight

# 安装 PyTorch (请根据实际 CUDA 版本调整，此处以 cu121 为例)
pip install torch>=2.1.0 --index-url https://download.pytorch.org/whl/cu121

# 安装 Transformers 及其他必要依赖
pip install transformers==4.48.2 accelerate sentencepiece protobuf

国内加速提示：如果下载速度较慢，可使用国内镜像源安装 Python 包： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

模型下载

Moonlight 提供预训练底座（Base）和指令微调（Instruct）两个版本，均托管在 Hugging Face。

模型名称	总参数量	激活参数量	上下文长度	下载地址
Moonlight-16B-A3B (Base)	16B	3B	8K	Hugging Face
Moonlight-16B-A3B-Instruct	16B	3B	8K	Hugging Face

您可以使用 huggingface-cli 下载模型到本地：

# 安装 huggingface hub 工具
pip install huggingface_hub

# 下载 Instruct 版本模型到本地目录 ./moonlight-instruct
huggingface-cli download moonshotai/Moonlight-16B-A3B-Instruct --local-dir ./moonlight-instruct

基本使用

Moonlight 架构与 DeepSeek-V3 兼容，可直接通过 transformers 库进行推理。以下是最简单的代码示例。

1. 推理预训练模型 (Base Model)

适用于续写、补全等任务。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "moonshotai/Moonlight-16B-A3B"
# 若已下载到本地，可将 model_path 替换为本地路径，如 "./moonlight-base"

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

prompt = "1+1=2, 1+2="
inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=100)
response = tokenizer.batch_decode(generated_ids)[0]
print(response)

2. 推理指令模型 (Instruct Model)

适用于对话、问答等任务。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "moonshotai/Moonlight-16B-A3B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

messages = [
    {"role": "system", "content": "You are a helpful assistant provided by Moonshot-AI."},
    {"role": "user", "content": "Is 123 a prime?"}
]

input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
generated_ids = model.generate(inputs=input_ids, max_new_tokens=500)
response = tokenizer.batch_decode(generated_ids)[0]
print(response)

3. 高性能部署 (可选)

由于 Moonlight 采用与 DeepSeek-V3 相同的架构，您也可以使用 vLLM 或 SGLang 等高性能推理引擎进行部署，以获得更高的吞吐量。

# 示例：使用 vLLM 启动服务 (需先安装 vllm)
python -m vllm.entrypoints.openai.api_server --model moonshotai/Moonlight-16B-A3B-Instruct --trust-remote-code

4. 训练示例 (复现 Muon 优化器效果)

如果您希望研究 Muon 优化器的训练效果，项目提供了简单的训练脚本示例：

# 使用 Muon 优化器训练类 Qwen 稠密模型
python3 examples/toy_train.py --model qwen --optimizer muon --dataset openwebtext-100k --hidden_size 896 --lr 1e-3

# 使用 AdamW 优化器作为对比
python3 examples/toy_train.py --model qwen --optimizer adamw --dataset openwebtext-100k --hidden_size 896 --lr 1e-3