🔥 DeepThinkVLA 🔥

提升视觉-语言-动作模型的推理能力

DeepThinkVLA：提升视觉-语言-动作模型的推理能力

🔗 快速链接

• 概述
• 亮点
• 架构
• 具身CoT数据集
• 训练流程
• 性能
• LIBERO Plus 零样本评估
• 定性行为
• 环境配置
• 数据与检查点
• 实验
• 仓库结构
• 星标历史
• 致谢
• 参考文献

📰 新闻

• 2026-01-20：新增了 LIBERO Plus 零样本评估说明及结果（详见独立评估仓库：wadeKeith/DeepThinkVLA_libero_plus)。

📝 待办事项

• LIBERO 基准测试
• LIBERO Plus 零样本评估
• RobotWin 基准测试
• 真实场景硬件实验

🧠 概述

DeepThinkVLA 通过显式推理重新思考视觉-语言-动作（VLA）策略。我们以公开的 pi0-FAST 检查点为基础，将策略重构为一个 29亿参数的混合解码器，在发出动作片段之前先生成推理轨迹。配套论文结合了具身思维链（CoT）监督微调与基于结果的强化学习，使 DeepThinkVLA 在 LIBERO 基准测试中取得了 97.0% 的平均成功率（对象任务 99.0%，空间任务 96.6%，目标任务 96.4%，长序列任务 96.2%）。仅凭混合架构就比朴素的自回归 CoT 变体提升了 15.5 个百分点，而强化学习的进一步优化则在 LIBERO-Long 任务上额外提升了 2.0 个百分点。

✨ 亮点

• 混合注意力解码器清晰地分离了自回归推理与并行动作生成，既缩小了延迟差距，又保持了控制的精确性。
• 两阶段 CoT 数据引擎利用云端 LVLM 提取关键帧，并通过微调后的本地 VLM 扩展到完整轨迹。
• 基于结果的强化学习采用分组信用分配机制，对整个思考-行动序列进行对齐，并通过 KL 正则化约束到 SFT 策略，从而稳定更新过程。
• Masked-CoT（DeepThinkVLA）推理在保持 96.5% 平均成功率的同时，运行时延仅为 pi0-FAST（自回归）的 17.5%，而随机 CoT 则会迅速导致性能下降（降至 85.1%）。

🏗️ 架构

DeepThinkVLA 在观测与动作之间插入了一个 <think> 段。推理 token 以自回归方式生成，随后解码器切换至双向注意力机制，并行输出动作向量。这一设计解决了限制单解码器基线的模态冲突问题，同时为下游强化学习提供了高效的回放路径。

📦 具身CoT数据集

我们构建了一套可扩展的标注流水线，用于生成配对的推理/动作轨迹：

• 第一阶段：通过抓手状态启发式方法提取关键帧，调用云端 LVLM 生成高质量的 CoT，并进行人工审核。
• 第二阶段：基于这些示例微调本地 VLM，并自动标注剩余帧，同时应用模式和时间一致性检查，以确保轨迹的连贯性。

🔄 训练流程

训练分为两个阶段：

• SFT 冷启动：通过 token 级别的交叉熵损失，教导混合解码器在因果/双向掩码下生成结构良好的 CoT 和对齐的动作。
• 基于结果的强化学习：采用分组强化策略优化（GRPO），在任务条件批次内标准化稀疏奖励；同时通过 KL 惩罚项约束到 SFT 策略，防止模型漂移。强化学习阶段使 LIBERO-Long 的成功率从 94.2% 提升至 96.2%，且无需额外演示数据，充分展示了其在长时序任务中的恢复能力。
• 混合解码器的表现优于朴素的自回归 CoT 变体 15.5 个百分点，并且能够有效控制延迟；Mask CoT 推理在保持准确率的同时，运行时延仅为 pi0-FAST 的 17.5%。

📊 性能

• DeepThinkVLA 在 LIBERO 上实现了 97.0% 的平均成功率，超越了自回归、扩散以及并行解码等基线模型，且均采用单模型协议。
• RL-over-SFT 将 LIBERO-Long 的成功率从 94.2% 提升至 96.2%，且无需额外演示数据，展现了其在长时序任务中的强大恢复能力。
• 混合解码器相比朴素的自回归 CoT 变体提升了 15.5 个百分点，并且延迟可控；Mask CoT 推理在保持高准确率的同时，运行时延仅为 pi0-FAST 的 17.5%。

🧪 LIBERO Plus 零样本评估

我们还报告了 LIBERO Plus 上的零样本迁移性能：

• 训练：模型仅在 标准 LIBERO 数据集上训练（未进行 LIBERO Plus 的微调）。
• 评估：训练好的模型直接在 LIBERO Plus 上进行评估（零样本）。
• 评估脚本：我们维护了一个轻量级的独立评估仓库：
  • wadeKeith/DeepThinkVLA_libero_plus

运行步骤（在 LIBERO Plus 评估仓库中）

python experiments/run_libero_plus_eval.py \
  --pretrained_checkpoint /path/to/deepthinkvla_libero_checkpoint \
  --num_images_in_input 2 \
  --task_suite_name libero_10 \
  --max_new_tokens 2048 \
  --swanlab_mode disabled

或者使用封装脚本：

bash eval.sh

输出

• 日志：experiments/logs/
• 回放缓存视频（若启用）：rollouts/

零样本结果（LIBERO Plus）

以下数字是在 LIBERO Plus 上的 零样本成功率（SR），评估使用的是仅在 LIBERO 上训练的 DeepThinkVLA 模型（未进行 LIBERO Plus 微调）。

按变化类型细分

物体布局	语言指令	光照条件	相机视角	机器人初始状态	背景纹理	传感器噪声	总计
0.7993	0.845	0.900	0.885	0.405	0.753	0.944	0.790

按任务套件细分

对象	空间操作	目标操作	10个任务	总计
0.840	0.879	0.697	0.746	0.790

🎬 定性行为

深思熟虑的推理能力使机器人能够自我纠正：当机器人掉落物体时，具备 CoT 意识的解码会识别错误并引导恢复动作，而反应式基线则会停滞不前。

🛠️ 设置

在配备 NVIDIA GPU（CUDA 12.x）和 Python >= 3.10 的 Linux/WSL 上进行测试。完整的 SFT 训练通常需要至少 8 块 80GB 的 GPU；RL 训练则假定采用类似于 scripts/run_deepthinkvla_rl.sh 的多节点设置。

conda create -n deepthinkvla python=3.10 -y
conda activate deepthinkvla
pip install -r requirements.txt

如果安装过程中出现 egl_probe 错误，请先安装 cmake==3.31.6，下载修复后的 wheel 文件，然后重试：

pip install cmake==3.31.6
wget https://github.com/mhandb/egl_probe/archive/fix_windows_build.zip
pip install fix_windows_build.zip
pip install -r requirements.txt

在启动实验之前，请配置可选的日志记录后端（Weights & Biases、SwanLab）。

💾 数据与检查点

1. LIBERO CoT 示范数据（论文第 3.2 节）：

   bash data/download_libero_cot.sh data/datasets/yinchenghust/libero_cot yinchenghust/libero_cot
   

2. LIBERO 模拟数据集：

   huggingface-cli download --repo-type dataset --resume-download yifengzhu-hf/LIBERO-datasets --local-dir ./src/libero/datasets/
   

3. 基础模型权重：

   huggingface-cli download --repo-type model \
       --resume-download yinchenghust/deepthinkvla_base \
       --local-dir yinchenghust/deepthinkvla_base/
   

4. 发布的 SFT 检查点：

   huggingface-cli download --repo-type model \
       --resume-download yinchenghust/deepthinkvla_libero_cot_sft \
       --local-dir yinchenghust/deepthinkvla_libero_cot_sft/
   

5. 发布的 SFT+RL 检查点：

   huggingface-cli download --repo-type model \
       --resume-download yinchenghust/deepthinkvla_libero_cot_rl \
       --local-dir yinchenghust/deepthinkvla_libero_cot_rl/
   

如果资产为私有，请先通过 huggingface-cli login 进行认证。

🧪 实验

所有脚本均假设仓库根目录为工作目录，并将 PYTHONPATH 扩展至 src/。

有监督微调（表 1）

bash scripts/finetune.sh

其展开形式为：

deepspeed src/train.py \
  --deepspeed ./src/configs/zero2.json \
  --base_model_path <hf_base_model_id_or_local_path> \
  --repo_id <hf_dataset_repo>/libero_cot \
  --output_dir ./checkpoints/sft/deepthinkvla/libero_cot \
  --per_device_train_batch_size 8 \
  --gradient_accumulation_steps 2 \
  --num_images_in_input 2 \
  --report_to none

关键参数：切换 --num_images_in_input 可选择单摄像头版本；调整 --bits、--lora_enable、--vision_lora 等参数，并根据 --max_steps、--save_steps 和 --save_total_limit 来匹配训练计划。

评估

bash scripts/eval.sh \
  --pretrained_checkpoint yinchenghust/deepthinkvla_libero_cot_sft

可通过添加如 --task_suite_name libero_10 等参数来扫描特定的任务集。

RL 精炼（表 3）

bash scripts/run_deepthinkvla_rl.sh

需配置 LIBERO_CONFIG_PATH、SFT_MODEL_PATH 以及硬件设置（NUM_GPUS、NUM_NODES）。训练器（python -m verl.trainer.main_ppo）实现了 GRPO 方法，结合稀疏的成功奖励、格式正则化和 KL 惩罚，以保持与 SFT 策略的接近性。

bash scripts/eval.sh \
  --pretrained_checkpoint yinchenghust/deepthinkvla_libero_cot_rl

消融实验

• 掩码 CoT：在 src/experiments/run_libero_eval.py 中将 get_vla_action 替换为 get_vla_action_mask_cot，以在解码动作之前移除推理标记。
• 随机 CoT：用随机采样的标记覆盖 get_vla_action 中的 cot_text，以测试对推理质量的敏感度。

通过 python -m experiments.run_libero_eval 测量推理延迟，以复现掩码 CoT 报告的 0.175 倍运行时间。

📁 仓库结构

DeepThinkVLA/
├── LICENSE
├── README.md
├── requirements.txt
├── data/                  # 数据辅助工具和 CoT 获取脚本
├── figs/                  # README 图片（图 1-5）
├── scripts/               # SFT、评估、RL 和对齐的启动脚本
├── src/
│   ├── configs/           # 超参数数据类和 DeepSpeed 配置文件
│   ├── dt_datasets/       # 数据集包装器、分词器、归一化处理
│   ├── experiments/       # 评估工具和 LIBERO 运行程序
│   ├── lerobot/           # 第三方 LeRobot 组件
│   ├── libero/            # LIBERO 模拟器资源
│   ├── sft/               # 模型、训练器和混合注意力工具
│   ├── tools/             # 维护工具
│   ├── train.py           # SFT 入口点
│   └── verl/              # VERL PPO 堆栈，用于 RL 精炼
└── checkpoints/           # （生成的）模型检查点

⭐ 星标历史

此图表每小时通过 GitHub Actions 自动更新。

🙏 致谢

DeepThinkVLA 基于 Hugging Face Transformers、PEFT、DeepSpeed、LeRobot、LIBERO、VERL、SimpleVLA-RL 以及其他开源组件构建而成，同时也受益于更广泛的机器人社区。我们感谢以下项目的维护者：

• SimpleVLA-RL (arXiv:2509.09674)(https://github.com/PRIME-RL/SimpleVLA-RL)
• Qwen2-VL-Finetune (https://github.com/2U1/Qwen2-VL-Finetune)
• HybridFlow (arXiv:2409.19256)(https://github.com/volcengine/verl)
• LeRobot (https://github.com/huggingface/lerobot)
• openpi (https://github.com/Physical-Intelligence/openpi)

🥰 引用

如果您觉得本仓库有所帮助，请考虑引用以下内容：

@article{yin2025deepthinkvla,
  title={DeepThinkVLA: 提升视觉-语言-行动模型的推理能力},
  author={Yin, Cheng 和 Lin, Yankai 和 Xu, Wang 和 Tam, Sikyuen 和 Zeng, Xiangrui 和 Liu, Zhiyuan 和 Yin, Zhouping},
  journal={arXiv 预印本 arXiv:2511.15669},
  year={2025}
}

DeepThinkVLA 快速上手指南

DeepThinkVLA 是一个增强视觉 - 语言 - 动作（VLA）模型推理能力的开源项目。它通过混合注意力机制，让模型在输出动作前先进行“思维链”（CoT）推理，显著提升了机器人在复杂任务中的成功率。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 WSL (Windows Subsystem for Linux)
• GPU: NVIDIA GPU (推荐显存 >= 80GB，多卡环境用于全量训练；推理可根据模型量化情况调整)
• CUDA: 12.x 版本
• Python: >= 3.10
• 依赖管理: Conda

安装步骤

1. 创建并激活虚拟环境

conda create -n deepthinkvla python=3.10 -y
conda activate deepthinkvla

2. 安装基础依赖

pip install -r requirements.txt

3. 处理潜在的安装问题 (egl_probe)

如果在安装过程中遇到 egl_probe 相关的报错，请执行以下修复命令：

pip install cmake==3.31.6
wget https://github.com/mhandb/egl_probe/archive/fix_windows_build.zip
pip install fix_windows_build.zip
pip install -r requirements.txt

4. 登录 Hugging Face

下载数据集和模型权重需要认证，请运行：

huggingface-cli login

(注：如果网络访问 Hugging Face 困难，建议配置国内镜像源或使用代理)

基本使用

以下是获取数据、下载预训练模型并进行评估的最简流程。

1. 下载数据与模型

运行以下脚本下载 LIBERO 思维链演示数据、仿真数据集以及预训练好的 SFT+RL 检查点：

# 下载 LIBERO CoT 演示数据
bash data/download_libero_cot.sh data/datasets/yinchenghust/libero_cot yinchenghust/libero_cot

# 下载 LIBERO 仿真数据集
huggingface-cli download --repo-type dataset --resume-download yifengzhu-hf/LIBERO-datasets --local-dir ./src/libero/datasets/

# 下载最终版模型权重 (SFT + RL)
huggingface-cli download --repo-type model \
    --resume-download yinchenghust/deepthinkvla_libero_cot_rl \
    --local-dir yinchenghust/deepthinkvla_libero_cot_rl/

2. 运行评估

使用下载好的模型在 LIBERO 基准测试上进行评估：

bash scripts/eval.sh \
  --pretrained_checkpoint yinchenghust/deepthinkvla_libero_cot_rl \
  --task_suite_name libero_10

3. (可选) 微调训练

如果您希望使用自己的数据进行监督微调（SFT），可以运行：

bash scripts/finetune.sh

注意：完整 SFT 训练通常需要多卡环境（如 8x80GB GPU）。具体参数可在 scripts/finetune.sh 中调整，例如 --num_images_in_input 或 --lora_enable。