💡 LightReasoner: 能否让小型语言模型教会<强>大型语言模型推理能力？

王景远 · 陈彦凯 · 李中航 · 黄超

---

图1：LightReasoner以卓越的令牌效率实现更优性能——在零样本pass@1准确率上持续提升，同时与传统SFT相比，总耗时减少90%，采样问题数量减少80%，调优令牌数减少99%。

💡 核心洞见：

这一效率突破表明，策略性地选择令牌而非进行穷举式训练，才能最有效地释放LLM推理的潜在能力——这证明了“更智能而非盲目加大投入”才是实现AI规模化改进的道路。

---

🎉 新闻

• [2026/04/06] 🚀 LightReasoner已被ACL 2026主会接受！衷心感谢所有合著者及合作者的支持。
• [2025/10/14] 🚀 新发布：LRsamples — 预先收集的LightReasoner训练样本，可直接用于微调。该数据集无需完整的采样流程即可进行模型训练，从而简化复现工作并加速下游研究流程。
• [2025/10/14] 🚀 新发布：LightReasoner增强模型现已在🤗 Hugging Face Hub 上线。这些即用型模型采用我们高效的推理增强方法进行微调，可立即部署和实验。
• [2025/10/12] 🚀 新发布：核心实现已支持Qwen2.5-Math和DeepSeek-R1模型。

---

⚡ TL;DR

**✨ LightReasoner ✨**颠覆了传统的AI训练模式——小型语言模型（SLMs）不仅能从大型语言模型（LLMs）那里“学习”，还能反过来“教导”LLMs，使其学得更好、更快！

🔥 挑战：

监督微调（SFT）面临三大瓶颈：

• 📊 数据密集型： 依赖人工标注或拒绝采样的数据集。

• ⚖️ 均匀学习： 对所有令牌一视同仁地进行训练，尽管真正重要的只是其中一小部分。

• 🔗 对真实标签的依赖： 这种方式限制了模型对新领域和新推理形式的适应能力。

🔍 核心洞见：

我们将90%的计算资源投入到模型已经掌握的内容上，而对那关键的10%——真正能带来突破的部分——则投入不足。

📈 LightReasoner：更好且更快

在7个基准测试和5种模型上进行了验证

🚀 性能提升

LightReasoner在多个数据集上持续提升了推理准确率：

• 📈 Qwen2.5-Math-1.5B： GSM8K提升28.1%，MATH提升25.1%，SVAMP提升7.2%，ASDIV提升11.7%

• 📈 DeepSeek-R1-Distill-Qwen-1.5B： GSM8K提升4.3%，MATH提升6.0%，OlympiadBench提升17.4%

• 📈 Qwen2.5-Math-7B： GSM8K提升10.4%，MATH提升6.0%，SVAMP提升9.3%，ASDIV提升7.9%

• 📈 Qwen2.5-Math-1.5B-Instruct： GSM8K提升1.9%，Minerva Math提升2.6%

• 🌍 强大的泛化能力： 仅在GSM8K上训练，却能在7个基准测试上取得改进。

⚡ 效率突破

以Qwen2.5-Math-1.5B为例，与SFT相比，LightReasoner实现了显著的效率提升：

• ⏱️ 总耗时减少90%： 4小时→0.5小时

• 🧾 采样问题数量减少80%： 3,952→1,000个问题

• 🔢 调优令牌数减少99%： 177万→2万个令牌

🌟 主要特性

• 🎯 SLM–LLM教学：

出人意料地利用较小的“业余”模型来识别那些更强的“专家”模型应当重点学习的关键推理时刻。

• ⚡ 极致的令牌效率：

通过有选择地优化高影响力推理步骤，而不是对整个推理过程进行均匀训练，LightReasoner实现了比SFT少99%的调优令牌数。

• 🔄 三阶段轻量级框架：

(1) 通过专家-业余KLD检测进行关键步骤选择

(2) 通过捕捉专家与业余行为差异的对比监督

(3) 通过自我蒸馏内化专家的优势

• 📈 KL引导的学习：

利用专家与业余预测之间的行为分歧来** pinpoint 推理瓶颈**——这一切都不需要真实标签。

• 🧠 专业知识胜过模型规模：

这表明，推动有效对比学习的是领域知识差距，而非模型大小——即使是具有不同知识的同规模模型也能产生强大的教学信号。

---

🧩 LightReasoner 框架

图2：LightReasoner 框架概览。 (1) 采样阶段：专家模型和业余模型分别生成分布 π_E 和 π_A。通过保留 D_KL(π_E ∥ π_A) > β 的步骤，进行信息性步长选择；同时，对比监督机制会构建软标签 v_C,以捕捉专家模型的优势。 (2) 微调阶段：通过最小化专家模型输出与 v_C 之间的 KL 散度，进一步提升专家模型性能。

---

🚀 快速入门

LightReasoner 使用起来极其 简单。我们精心设计了它，使其易于上手——任何人都可以亲自尝试，并亲身体验其 “反直觉的有效性”。

毫不费力——只需按照下面几个 🪄 简单步骤，你就能将其设置好，并用自己选择的模型运行起来！

📦 准备工作

git clone https://github.com/HKUDS/LightReasoner.git
cd LightReasoner

1️⃣ 安装所有依赖项：

pip install -r requirements.txt

2️⃣ 下载你选择的专家模型和业余模型。例如：

🦉 专家模型

huggingface-cli download Qwen/Qwen2.5-Math-1.5B --local-dir ./Qwen2.5-Math-1.5B

🐣 业余模型

huggingface-cli download Qwen/Qwen2.5-0.5B --local-dir ./Qwen2.5-0.5B

3️⃣ 准备训练数据：

python data_prep.py

⚠️ 注意事项

LightReasoner 依赖于 专家-业余模型配对 来生成监督信号。因此，这对模型的选择对方法的成功至关重要。

⚖️ 经验法则：

专家模型应 显著优于 业余模型，而业余模型则必须具备 足够的能力，能够产生连贯的推理过程。实际上，性能的最佳点往往在于一个平衡的 “最佳区间”，而非单纯扩大能力差距。

在我们的实验中，专家模型包括 Qwen2.5-Math-1.5B、7B，以及它们的 Instruct 对应版本，还有 DeepSeek-R1-Distill 系列变体。业余模型则固定为 Qwen2.5-0.5B，它既能提供强烈的对比，又具备足够的推理能力，从而产生有意义的监督信号。

我们 鼓励 你尝试其他模型家族（如 Llama），但在搭建专家-业余合作时，请务必牢记这一 平衡原则。

📋 注意

• 我们默认使用 GSM8K 数据集，因为它强调逐步推进、广泛适用的逻辑推理，而非特定领域的符号表示。这确保了即使业余模型没有接受过数学专项训练，仍能产生可解释的输出，适合用于对比监督。

• 你完全可以尝试其他数据集——LightReasoner 全面兼容。然而，根据所选数据集的不同，你可能需要调整超参数以及业余模型的选择，以保证训练的稳定性和对比效果的显著性。

  • 例如，如果你尝试使用 MATH 数据集——一组难度远高于 GSM8K 的高中竞赛题目——建议将业余模型从通用的 Qwen2.5 基础模型升级为专门针对数学的 Qwen2.5-Math 变体。基础模型并未经过数学预训练，可能难以在 MATH 数据上生成连贯的输出，从而削弱专家-业余模型之间的对比效果。

  • 此处同样适用 平衡原则——业余模型应当 足够弱于 专家模型，以形成清晰的对比，但同时也需具备维持连贯推理的能力。

---

🎯 采样

此步骤用于构建 LightReasoner 监督数据集，以便后续微调使用。我们会保留那些专家与业余模型之间 KL 散度较高的步骤。这些选定的步骤将被转化为监督样本，通过 分布对比 来编码专家模型的优势。更多详细信息请参阅我们的论文 arXiv:2510.07962。

python LightR_sampling.py --max_questions 1000

📋 注意

在运行脚本之前，你需要：

• 更新 配置部分，填入你自己的相对路径。

• 调整最大问题数量，以控制监督数据集的大小；调整采样参数，探索更优的组合；并根据可用的计算资源，优化批处理大小。

  • 作为参考，在实践中，我们发现从 GSM8K 训练集中采样 1,000 个问题（过滤阈值设为 β = 0.4），大约能得到 20,000 个 LightReasoner 对比样本，而这已经足以让我们在测试过的基准模型上实现 LoRA 微调的收敛。

⚡ 快捷方式

为了省去运行采样流程的麻烦——尽管 LightReasoner 的采样流程已经轻量且简便，但对于计算资源有限的人来说，仍然可能有些吃力——我们现在提供了 即用型 LightReasoner 样本，让你可以直接跳到 微调阶段！🚀

你可以在 LRsamples 文件夹下的压缩包中找到以下预先收集的 LightReasoner 采样数据集：

• LR_Qwen7_gsm8k — 适用于 Qwen2.5-Math-7B

• LR_ds1.5_gsm8k — 适用于 DeepSeek-R1-Distill-Qwen-1.5B

• LR_Qwen1.5_gsm8k — 适用于 Qwen2.5-Math-1.5B

  • 我们提供了 两个版本，分别基于 Torch 3.1 和 Torch 3.8 采样，因为我们发现不同版本的 Torch 会导致采样结果（即模型生成的输出）略有差异。

  • 性能波动非常小——通常在 2–3% 以内，较新版本的 Torch 一般表现略好一些。

这些数据集使得你能够 更轻松地复现 我们的实验结果——无需额外采样！✨

---

⚙️ 微调

此步骤启动完整的 LightReasoner 微调流程——将 数据加载、LoRA 配置 和 对比 KL 散度训练 整合为一个统一的工作流。

💻 运行选项

前台运行（简单模式）：

python LightR_finetuning.py

后台运行（推荐用于长时间训练）：

nohup python LightR_finetuning.py > finetune.log 2>&1 &

监控进度：

tail -f finetune.log

⚠️ 注意事项

用于微调的专家模型必须与采样时使用的模型完全一致——这种一致性对于正确执行至关重要。

📋 注意

在运行脚本之前，请编辑 配置部分 以匹配你的设置：

• 🔹 将 <path_to_expert_model> 替换为你使用的基模型路径（例如 "./Qwen2.5-Math-7B" 或本地文件夹）。

• 🔹 将 <path_to_training_dataset> 替换为你准备好的数据集 JSONL 文件。

• 🔹 将 <output_directory> 替换为你希望保存检查点和最终模型的目录。

• 🔹 根据你的硬件设备设置 torch_dtype（例如，对于 H100 使用 torch.bfloat16，对于 A100 则使用 torch.float16）。

---

🔗 模型合并

使用此步骤在本地合并完整模型（基础模型 + LoRA），使其作为独立模型运行，无需任何 LoRA 依赖。

python merge.py

📋 注意

在运行合并脚本之前，请根据您的实际路径更新配置部分：

• 🔹 base_model_path 设置为您的基础模型目录 (例如：./Qwen2.5-Math-7B)

• 🔹 lora_ckpt_path 设置为您的 LoRA 检查点目录 (例如：./ft_qw7_gsm8k/checkpoint-1000)

• 🔹 merged_model_path 设置为您希望保存合并后模型的路径 (例如：./ft-7B-merged)

---

📈 评估

所有评估均使用官方 Qwen2.5-Math 工具包进行。

请参阅 evaluation 文件夹，获取详细的使用和设置说明。

---

📊 主要结果

模型	GSM8K	MATH	SVAMP	ASDiv	Minerva Math	Olympiad Bench	MMLU STEM	AVG.
Qwen2.5-Math-1.5B
基线	42.5	34.2	68.8	68.1	9.9	23.7	49.8	42.4
+ SFT	69.2	57.1	64.1	70.2	15.1	27.6	47.7	50.1
+ LightR	70.6	59.3	76.0	79.8	11.4	27.1	54.9	54.2
Qwen2.5-Math-1.5B-Instruct
基线	84.8	75.8	94.2	94.7	29.4	37.5	57.4	67.7
+ SFT	85.4	75.8	93.5	94.7	31.6	37.5	56.2	67.8
+ LightR	86.7	75.5	93.0	94.1	32.0	37.8	55.2	67.8
DeepSeek-R1-Distill-Qwen-1.5B
基线	75.2	54.2	79.9	84.9	16.2	19.1	22.3	50.3
+ SFT	78.2	60.3	81.5	87.4	18.4	21.2	26.2	53.3
+ LightR	79.5	60.2	83.5	87.5	18.0	36.5	26.2	55.9
Qwen2.5-Math-7B
基线	57.5	51.8	67.9	72.7	14.0	16.0	69.8	50.0
+ SFT	64.4	63.3	76.2	76.6	12.1	20.5	68.5	54.5
+ LightR	67.9	57.8	77.2	80.6	12.1	16.9	70.5	54.7
Qwen2.5-Math-7B-Instruct
基线	95.2	83.2	93.9	95.3	33.8	41.5	69.3	73.2
+ SFT	95.4	83.1	94.1	95.2	38.2	40.7	68.2	73.6
+ LightR	95.8	83.6	93.1	95.2	34.2	39.0	67.8	72.7

• LightReasoner 仅基于 GSM8K 数据训练，却能有效泛化到 5 种基础模型，在 7 个基准测试中均取得一致提升。

• 对于 Qwen2.5-Math-1.5B，GSM8K 提升 28.1%，MATH 提升 25.1%，SVAMP 提升 7.2%，ASDIV 提升 11.7%。

• 对于 DeepSeek-R1-Distill-Qwen-1.5B，GSM8K 提升 4.3%，MATH 提升 6.0%，OlympiadBench 提升 17.4%。

• 对于 Qwen2.5-Math-7B，GSM8K 提升 10.4%，MATH 提升 6.0%，SVAMP 提升 9.3%，ASDIV 提升 7.9%。

• 效率对比 SFT：总耗时减少 90%，采样问题数量减少 80%，调优的 token 数量减少 99%。

---

⏱️ 效率研究

方法	总时间	采样问题	调整的标记数	平均增益
Qwen2.5-Math-1.5B
+ SFT	4.0小时	3952	177万	+7.7%
+ LightReasoner	0.5小时	1000	0.02百万	+11.8%
Qwen2.5-Math-7B
+ SFT	9.5小时	6029	220万	+4.5%
+ LightReasoner	0.75小时	1000	0.02百万	+4.7%
DeepSeek-R1-Distill-Qwen-1.5B
+ SFT	3.6小时	6023	595万	+3.0%
+ LightReasoner	0.5小时	1000	0.02百万	+5.6%
Qwen2.5-Math-1.5B-Instruct
+ SFT	3.4小时	7153	208万	+0.1%
+ LightReasoner	0.4小时	1000	0.02百万	+0.1%

• 🧑‍🏫 监督微调 (SFT):

  • 采用拒绝采样实现，模型在正确推理轨迹的示范上进行微调。

  • 为公平比较，SFT 采用了与 LightReasoner 相同的实验配置，仅在 GSM8K 训练集上进行基于 LoRA 的微调。

  • 🎯 关键区别:

    • LightReasoner 基于选择性的下一个标记预测进行训练，而 SFT 则优化整个推理轨迹——这是由各自训练范式决定的固有差异。

    • 因此，每个 LightReasoner 训练实例对应于单个下一个标记预测，而每个 SFT 示例则对应于包含一系列连续下一个标记预测的完整推理轨迹。

• 📈 效率评估:

  • ⏱️ 时间预算 — 采样时间加上微调时间，在单个 NVIDIA H200 GPU 上测量，未使用推理加速器（如 vLLM）。

  • 📘 训练实例 — 用于生成监督数据集的不同 GSM8K 训练集问题数量。

  • 🔢 调整的标记数 — 以标记为单位计算的计算开销。

图3: LightReasoner 以显著的资源效率匹配或超越 SFT 性能 — 在达到竞争性准确率的同时，将训练时间缩短90%，采样问题减少80%，所需调整的标记数减少99%。

💡 关键洞察:

*这标志着模型训练方式的根本转变——针对关键推理步骤的效果优于蛮力学习，使得即使在有限的计算资源下，高质量的人工智能训练也成为可能。*

---

🧠 专家驱动的对比

业余模型	性能差距	GSM8K	MATH	SVAMP	ASDiv	MMLU STEM	平均
专家: Qwen2.5-Math-1.5B
Qwen2.5-0.5B	38.2	70.6	59.3	76.0	79.8	54.9	68.1
Qwen2.5-1.5B	35.1	63.4	57.1	69.7	75.7	54.8	64.1
Qwen2.5-Math-1.5B	/	/	/	/	/	/	/
Qwen2.5-Math-1.5B-Ins	-42.3	41.4	35.5	67.5	66.4	55.0	53.2
仅专家（基准）	/	42.5	34.2	68.8	68.1	49.8	52.7
专家: Qwen2.5-Math-7B
Qwen2.5-0.5B	53.2	67.9	57.8	77.2	80.6	70.5	70.8
Qwen2.5-1.5B	50.1	69.0	56.0	77.6	78.9	69.5	70.2
Qwen2.5-Math-1.5B	15.0	56.9	50.2	63.5	63.4	70.7	60.9
Qwen2.5-Math-1.5B-Ins	-27.3	59.4	49.0	68.3	69.6	70.3	63.3
仅专家（基准）	/	57.5	51.8	67.9	72.7	69.8	63.9

• 领域专业知识胜过规模: 专家–业余合作的成功最有效地由领域特定知识驱动，而非模型大小（例如 Qwen2.5-Math-1.5B 与 Qwen2.5-1.5B），从而使 LightReasoner 摆脱了严格的规模限制。

• 对专业知识差距的依赖: 性能提升与专业知识差距的大小密切相关——随着业余模型接近专家的能力，对比信号减弱，改进也随之减少。

---

🔍 更多见解

👈 图4(a): 专家–业余配对效果 — 每个点代表一个固定的专家模型与一个业余模型配对。随着专业知识差距的缩小，LightReasoner 所取得的性能增益逐渐减弱。

👉 图4(b): 缺失项的影响 — 从 LightReasoner 中移除关键组件会持续降低性能，揭示了它们的关键贡献。

---

🏆 与竞争方法的比较

属性 时间 SFT LightR 完整轨迹 ⬆️ ✅ ❌ 全标记调优 ⬆️ ✅ ❌ 前缀终止 ⬇️ ❌ ✅ 选择性标记 ⬇️ ❌ ✅ 无需验证 ⬇️ ❌ ✅

属性 效用 CD LightR 对比使用 / 推理 训练 基于规模的对比 ⬇️ ✅ ❌ 专业知识对比 ⬆️ ❌ ✅ 持续性收益 ⬆️ ❌ ✅ 独立推理 ⬆️ ❌ ✅

• 👈 左: 一目了然的效率对比。⬆️ 和 ⬇️ 表示每个方面是有助于还是不利于该方法的整体效率。

• 👉 右: 传统对比解码 (CD) 方法与 LightReasoner 的关键区别。⬆️ 和 ⬇️ 表示每个方面是有助于还是不利于该方法的实用性。

---

☕️ 引用

如果您觉得这项工作有用，请考虑引用我们的论文：

@article{wang2025lightreasoner,
  title={LightReasoner: 小型语言模型能否教会大型语言模型推理？},
  author={Wang, Jingyuan and Chen, Yankai and Li, Zhonghang and Huang, Chao},
  journal={arXiv 预印本 arXiv:2510.07962},
  year={2025}
}

感谢您对我们工作的关注！

---

📜 许可证

本项目采用 MIT 许可证 发布。

❤️ 感谢您的访问 ✨ LightReasoner ✨

LightReasoner 快速上手指南

LightReasoner 是一个创新的推理增强框架，核心理念是利用小型语言模型（SLM）来教导大型语言模型（LLM）。它通过识别专家模型与业余模型之间的关键推理差异，仅对高影响力的推理步骤进行微调，从而实现比传统监督微调（SFT）更高的准确率和极致的令牌效率（减少 99% 的微调令牌量）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10 或更高
• 硬件要求: 支持 CUDA 的 NVIDIA GPU（显存需求取决于所选的 Expert/Amateur 模型大小，建议至少 16GB 以运行 1.5B-7B 模型组合）
• 前置依赖:
  • git
  • pip
  • huggingface-cli (用于下载模型)

💡 国内加速建议 鉴于网络环境，强烈建议使用国内镜像源加速依赖安装和模型下载：

• pip 源: 使用清华源或阿里源 (-i https://pypi.tuna.tsinghua.edu.cn/simple)
• Hugging Face: 设置环境变量 HF_ENDPOINT=https://hf-mirror.com 或使用 huggingface-cli 的镜像配置。

安装步骤

1. 克隆项目代码

git clone https://github.com/HKUDS/LightReasoner.git
cd LightReasoner

2. 安装依赖

推荐使用国内 pip 源以加快安装速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载模型

LightReasoner 需要成对的 Expert (专家) 和 Amateur (业余) 模型。

• Expert: 性能较强，负责提供高质量推理分布。
• Amateur: 性能较弱但具备基本推理能力，用于对比发现关键步骤。

以下以官方推荐的 Qwen2.5-Math-1.5B (Expert) 和 Qwen2.5-0.5B (Amateur) 为例：

# 设置 HF 镜像加速 (可选，国内用户推荐)
export HF_ENDPOINT=https://hf-mirror.com

# 下载 Expert 模型
huggingface-cli download Qwen/Qwen2.5-Math-1.5B --local-dir ./Qwen2.5-Math-1.5B

# 下载 Amateur 模型
huggingface-cli download Qwen/Qwen2.5-0.5B --local-dir ./Qwen2.5-0.5B

4. 准备数据

运行数据预处理脚本（默认使用 GSM8K 数据集）：

python data_prep.py

⚠️ 模型搭配原则

• Expert 必须显著强于 Amateur。
• Amateur 不能太弱，必须能生成连贯的推理过程（否则无法形成有效的对比信号）。
• 若使用高难度数据集（如 MATH），建议将 Amateur 升级为同系列的数学专用模型（如 Qwen2.5-Math-0.5B）。

基本使用

LightReasoner 的核心流程分为两步：采样构建监督数据 和 微调。

方案 A：完整流程（自行采样）

如果您希望从头构建训练数据，请执行以下步骤：

1. 采样阶段 (Sampling) 此步骤通过计算 Expert 和 Amateur 的 KL 散度，筛选出关键推理步骤，构建轻量级监督数据集。

python LightR_sampling.py --max_questions 1000

• --max_questions: 控制采样的问题数量。官方实验表明，从 GSM8K 中采样 1,000 个问题即可生成约 20,000 个对比样本，足以让 LoRA 收敛。
• 注意: 运行前请在脚本中配置好模型本地路径。

2. 微调阶段 (Fine-tuning) 使用生成的对比样本对 Expert 模型进行微调（具体微调命令请参考项目中的训练脚本，通常基于 HuggingFace Trainer 或 LLaMA-Factory）。

---

方案 B：快捷流程（使用预采集数据）⭐ 推荐

为了节省算力和时间，项目提供了预采集好的训练样本，您可以直接跳过采样阶段，立即开始微调。

1. 获取预采集数据 访问项目目录下的 LRsamples 文件夹（或在 HuggingFace Collection 中下载），选择对应您模型的压缩包：

• LR_Qwen7_gsm8k.zip: 适用于 Qwen2.5-Math-7B
• LR_ds1.5_gsm8k.zip: 适用于 DeepSeek-R1-Distill-Qwen-1.5B
• LR_Qwen1.5_gsm8k.zip: 适用于 Qwen2.5-Math-1.5B

解压后即可获得 ready-to-use 的训练数据。

2. 开始微调 直接使用解压后的数据启动微调任务。这种方式将总训练时间从数小时缩短至几十分钟，并减少了 99% 的 Token 处理量。

# 示例：使用预采集数据启动训练 (具体训练命令需参考项目内的 train.py 或相关文档)
python train.py --data_path ./LRsamples/LR_Qwen1.5_gsm8k --model_path ./Qwen2.5-Math-1.5B

通过以上步骤，您即可体验 LightReasoner“以小教大”的高效推理增强效果。