DFT
DFT 是一项源自 ICLR 2026 的研究成果，旨在从强化学习（RL）的视角重新审视并提升监督微调（SFT）的泛化能力。在大型语言模型的训练中，传统的 SFT 方法虽然稳定，但往往难以具备强化学习那样的强大推理与泛化性能，而直接应用 RL 又面临训练复杂、成本高昂的挑战。DFT 正是为了解决这一痛点而生，它通过一种名为“奖励修正（Reward Rectification）”的创新机制，巧妙地将强化学习的优势融入标准的监督微调流程中。
这项技术的核心亮点在于“简单却高效”。它无需构建复杂的强化学习训练框架，仅通过对训练数据的奖励信号进行修正，就能让模型以 SFT 的计算成本，获得接近 RL 方法的推理效果。目前实验数据显示，DFT 在数学推理和代码生成等需要强逻辑的任务上表现尤为出色，显著提升了 70 亿参数及以下规模模型的泛化水平。
DFT 非常适合 AI 研究人员和开发者使用。如果你正在探索如何在有限的算力下提升模型的逻辑推理能力，或者希望深入理解 SFT 与 RL 之间的内在联系，DFT 提供了一个极具价值的实践方案。需要注意的是，该方法目前在文学创作或金融分析等非强逻辑场景的效果尚在探索中，团队也诚挚邀请社区共同测试与改进，以推动其在更广泛领域的应用。
使用场景
某金融科技团队正在构建一个基于 7B 参数大模型的自动化数学推理引擎，用于实时解析复杂的衍生品定价公式并生成验证代码。
没有 DFT 时
- 模型在面对训练数据中未出现过的新型金融公式变体时，泛化能力显著下降，经常产生看似合理但逻辑错误的“幻觉”推导。
- 为了提升准确率，团队不得不收集海量特定领域的标注数据进行多轮监督微调（SFT），导致数据清洗和标注成本居高不下。
- 引入完整的强化学习（RL）流程来优化推理路径又显得过于沉重，奖励函数设计复杂且训练过程极不稳定，难以在有限算力下落地。
- 最终交付的模型在标准测试集上表现尚可，但在实际业务遇到的长尾复杂算例中，成功率波动极大，无法满足生产级稳定性要求。
使用 DFT 后
- 借助 DFT 的奖励修正机制，模型在仅使用少量基础 SFT 数据的情况下，显著提升了对未见过的数学公式变体的泛化推理能力。
- 团队无需再耗费巨资构建大规模专用数据集，DFT 以接近 SFT 的训练成本实现了类似强化学习的性能增益，大幅降低了数据依赖。
- 训练过程保持了监督微调的简洁与稳定，避免了传统 RL 中奖励稀疏和收敛困难的问题，使得在单卡环境下快速迭代成为可能。
- 在实际业务的长尾复杂算例测试中，模型的解题成功率趋于稳定，能够可靠地处理高难度的衍生品定价逻辑，达到了上线标准。
DFT 成功打破了监督微调与强化学习之间的壁垒，让中小规模模型也能以低成本获得强大的数学推理泛化能力。
运行环境要求
- Linux
必需 NVIDIA GPU，测试环境为 H100，需支持 CUDA 12.4
未说明
快速开始
关于SFT的泛化问题：基于奖励修正的强化学习视角
Xinyu Ye Xinting Hu Wenbo Zhu Lu Qi Ming-Hsuan Yang Xu Yang
🌟 感谢社区的反馈
我们非常感谢社区对DFT提出的诸多中肯意见和反馈，从相关概念的讨论到不同场景下的应用报告，不一而足。在文学或金融等任务中，我们也听到了关于DFT成功与失败的案例。
在此，我们想澄清一点：正如我们在局限性部分所指出的那样，我们并不声称DFT能够完全取代SFT：
“尽管我们的实验表明DFT在数学推理基准上取得了显著提升，但这一评估仅限于以数学和代码为中心的数据集，以及参数规模不超过70亿的模型。”
然而，这些不太成功的案例，加上知乎、小红书等平台上关于DFT直观原理的讨论，以及我们自身的实验经验，促使我们更深入地思考DFT在哪些条件下表现良好，而在其他情况下为何效果欠佳。
所有这些反馈让我们想起计算机先驱理查德·汉明在《科学与工程的艺术：学会学习》（第27页）中的一段话，我们稍作改编：
“几乎每一个开辟新领域的人，其实都不如追随者——或者批评家——那样真正理解它。”
我们希望这项工作能够激发人们重新关注SFT与RL之间的相互作用，并更好地理解DFT等方法之所以取得成功或存在局限性的因素。展望未来，我们也欢迎对我们的工作感兴趣的研究人员，在当前尚未成功的案例中改进DFT，或利用这些思路发掘RL算法与SFT之间的更多联系，最终实现在更广泛的场景中以SFT的成本获得类似RL的优势。
📰 新闻
- [2025.08.08] 我们已发布训练脚本、评估脚本及模型检查点。
摘要
我们提出了一种简单却具有理论依据的大型语言模型（LLM）监督微调（SFT）改进方法，旨在解决其相较于强化学习（RL）的泛化能力不足问题。通过数学分析，我们揭示了标准SFT梯度隐含着一种可能严重限制模型泛化能力的问题性奖励结构。为纠正这一点，我们提出了动态微调（DFT），通过用该 token 的预测概率动态缩放目标函数，从而稳定每个 token 的梯度更新。令人惊讶的是，这一行代码的改动便在多个具有挑战性的基准测试和基础模型上显著优于标准SFT，展现出大幅增强的泛化能力。此外，我们的方法在离线强化学习场景中也表现出竞争力，提供了一种既有效又更为简便的替代方案。这项工作将理论洞见与实践解决方案相结合，极大地提升了SFT的性能。
代码实现
DFT是对标准SFT的一行修改：将每个 token 的损失乘以其预测概率（并将其分离以避免梯度流动）。
loss = loss * torch.softmax(shift_logits, dim=-1).gather(1, shift_labels.unsqueeze(-1)).squeeze(-1).detach()
⚙️ 安装
我们的代码库已在配备H100显卡的服务器上进行了测试，环境如下：
python 3.10.0torch 2.6.0+cu124
git clone https://github.com/yongliang-wu/DFT.git
cd DFT
🔧 设置训练环境
conda create -n DFT python=3.10 -y
conda activate DFT
cd verl
bash scripts/install_vllm_sglang_mcore.sh
pip install --no-deps -e .
🚀 开始使用
第一步：准备数据
# 生成训练数据（可选：调整--train_end以控制数据量）
python examples/data_preprocess/numina_cot.py --train_end 100000
# 生成评估数据
python examples/data_preprocess/math_dataset.py
第2步：启动训练
nproc_per_node=8
project_name=numina-cot
experiment_name=numina-cot-dft-qwen-2.5-math-1.5b
save_path=checkpoints/$experiment_name
torchrun --standalone --nnodes=1 --nproc_per_node=$nproc_per_node \
-m verl.trainer.fsdp_dft_trainer \
data.train_files=data/numina_cot/train.parquet \
data.val_files=data/math500/test.parquet \
data.prompt_key=extra_info \
data.response_key=extra_info \
data.train_batch_size=256 \
data.max_length=2048 \
optim.lr=5e-5 \
data.prompt_dict_keys=['question'] \
data.response_dict_keys=['answer'] \
data.micro_batch_size_per_gpu=4 \
model.partial_pretrain=Qwen/Qwen2.5-Math-1.5B \
model.use_liger=True \
model.fsdp_config.model_dtype=bf16 \
trainer.default_local_dir=$save_path \
trainer.project_name=$project_name \
trainer.experiment_name="$experiment_name-$(date +%Y%m%d-%H%M%S)" \
trainer.logger=['console','tensorboard'] \
trainer.default_hdfs_dir=null \
trainer.test_freq=10 \
trainer.save_freq=50 \
trainer.total_epochs=1 \
ulysses_sequence_parallel_size=1 \
use_remove_padding=true
第3步：评估
要评估训练好的模型，请先按照 Qwen2.5-Math 仓库 的说明设置评估环境。
# 选择与您的模型匹配的提示格式
PROMPT_TYPE="qwen-boxed"
# PROMPT_TYPE="llama-base-boxed"
# PROMPT_TYPE="deepseek-math"
# 设置可用的GPU
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
# 配置采样参数
N_SAMPLING=16
TEMPERATURE=1
# 指定模型和输出目录
MODEL_NAME_OR_PATH="" # 例如：checkpoints/your-model-name
OUTPUT_DIR="" # 例如：outputs/eval_results
# 运行评估
bash sh/eval.sh $PROMPT_TYPE $MODEL_NAME_OR_PATH $OUTPUT_DIR $N_SAMPLING $TEMPERATURE
局限性
根据我们的评估和社区反馈，DFT 在具有非确定性解题路径的任务上表现强劲——即那些存在多种有效推理路径的任务，例如数学链式思维（CoT）推理、高度复杂的编程问题求解以及带有信息丰富 CoT 的多模态推理。相比之下，DFT 在答案唯一且明确的任务上的表现较弱，尤其是在相关的 CoT（如果存在）高度受限且接近确定性（低熵）的情况下。
引用
如果您认为本文对您的研究或应用有价值，我们非常感谢您引用我们的工作：
@article{wu2025generalization,
title={On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification},
author={Wu, Yongliang and Zhou, Yizhou and Ziheng, Zhou and Peng, Yingzhe and Ye, Xinyu and Hu, Xinting and Zhu, Wenbo and Qi, Lu and Yang, Ming-Hsuan and Yang, Xu},
journal={arXiv preprint arXiv:2508.05629},
year={2025}
}
相关仓库
- https://github.com/huggingface/trl：TRL 现已支持 DFT，请参阅 此脚本。
- https://github.com/hiyouga/LLaMA-Factory：LLaMA-Factory 现已支持 DFT，请参阅 此脚本。
- https://github.com/modelscope/ms-swift：ms-swift 现已支持 DFT，请参阅 此脚本。
- https://github.com/Lauorie/DFT：复现了 DFT 方法，未使用 Verl。
- https://github.com/volcengine/verl：用于训练的代码库。
- https://github.com/QwenLM/Qwen2.5-Math：用于评估的代码库。
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。