📰 新闻

• [2026/4/4] 👨‍👦‍👦 我们支持基于多人反馈优化单个模型。
• [2026/3/25] 🙌 我们衷心感谢 Tinker 对本项目的慷慨支持，这使得我们能够进行更多实验并加快迭代速度。
• [2026/3/20] 💻 现在你可以使用自己的 OpenClaw，只需安装 此扩展。
• [2026/3/13] ☁️ OpenClaw-RL 现在同时支持本地 GPU 和云端（Tinker）部署。只需 一行代码 即可启动 — 混合强化学习、OPD 和二元强化学习均受支持！
• [2026/3/12] ⚡ 我们现在支持 LoRA 训练！
• [2026/3/10] 📃 我们发布了 技术报告! 🏆 在 HuggingFace Daily Papers 中排名第 #1!
• [2026/3/10] 🔥 今日重大更新！我们发布了一种 新的组合方法，以及对这些 OpenClaw-RL 方法的 有趣评估。第二条赛道也已发布，其中包含了适用于通用智能体场景的可扩展强化学习实现，涵盖 终端、GUI、SWE 和 工具调用 场景。我们只专注于现实世界的应用！
• [2026/3/3] 🙌 我们与 SDFT 和 SDPO 的作者合作，将他们的方法整合进了 openclaw-opd。我们欢迎新颖且有效的方法加入！
• [2026/3/3] 📺 查看这些关于 OpenClaw-RL 的社区教程视频：视频 1 | 视频 2
• [2026/2/26] 🔥 我们发布了 OpenClaw-RL v1 — 一个完全异步的强化学习框架，用于从自然对话反馈中训练个性化 AI 智能体。

💡 TL;DR

OpenClaw-RL 是一个完全异步的强化学习框架，能够将日常对话转化为个性化 AI 智能体的训练信号，并支持通过大规模环境并行化来训练通用智能体。

大多数针对 LLM 的强化学习系统都假设采用集中式的批处理模式训练，并使用预先收集的数据集。而 OpenClaw-RL 则采取了截然不同的方法：它将你自托管的模型封装在 OpenClaw 中，使其成为一个兼容 OpenAI 的 API，拦截实时的多轮对话，并在后台持续优化策略——整个过程不会中断你的正常使用。

亮点： 全异步四组件循环 · 自托管且私密 · 无需手动标注 · 三种学习范式（二元强化学习 / OPD / 组合）· 支持个性化与通用智能体

🎯 路线图

我们的长期目标是 通过强化学习推动个性化、实用性强的智能体发展。路线图分为两条路径：

路径1 — 个人智能体优化（小规模但个性化）

✅ 发布路径1： 完全异步的 OpenClaw-RL 框架，包含二元强化学习 + OPD
✅ 通过演示实验发现最佳训练配方
✅ 支持 LoRA 训练
✅ 在 Tinker 上部署训练
⬜ 支持低精度训练/推理
⬜ 不仅限于策略：将学习扩展到技能和记忆

路径2 — 通用智能体优化（可扩展基础设施）

✅ 发布路径2： 面向通用智能体的可扩展智能体强化学习基础设施
⬜ 支持更多云服务

🤝 贡献说明

我们欢迎将新的学习方法集成到 OpenClaw-RL 框架中的贡献！例如，将 SDFT / SDPO 集成到 openclaw-opd，以及 支持 LoRA 等，都是社区成功贡献的典范。

📝 目录

• 个人 OpenClaw 优化
  • 组合方法（二元强化学习 + OPD）
  • 二元强化学习
  • 策略内蒸馏
  • 方法评估
• 现实世界中的智能体强化学习
  • 终端智能体
  • GUI 智能体
  • 软件工程智能体
  • 工具调用智能体

🔧 个人代理优化快速入门

1. 部署选项

没有钱？

• 硬件: 8× GPU（默认；可通过 NUM_GPUS、ACTOR_GPUS、ROLLOUT_GPUS、PRM_GPUS 进行配置）
• 软件: CUDA 12.9、Python 3.12
• 框架: Slime（我们的基础强化学习框架）

有关详细的环境搭建，请参阅 Slime 或 ./instructions/README.md。

没有GPU？

创建一个 Tinker API。这就足够了。但请注意，Tinker 只支持 LoRA，其效果可能不如全量微调。因此我们仍在对其进行测试。

2. 启动强化学习服务器

我们提供了三种方法（强化学习服务器）：

选择你的优化方法：

cd slime
bash ../openclaw-combine/run_qwen3_4b_openclaw_combine.sh

bash ../openclaw-combine/run_qwen3_4b_openclaw_combine_lora.sh

cd openclaw-tinker
python run.py --method combine --model-name Qwen/Qwen3-8B --batch-size 16 --prm-m 1 --w-opd 1.0 --w-rl 1.0

cd slime
bash ../openclaw-rl/run_qwen3_4b_openclaw_rl.sh

bash ../openclaw-rl/run_qwen3_4b_openclaw_rl_lora.sh

cd openclaw-tinker
python run.py --method rl --model-name Qwen/Qwen3-8B --batch-size 16 --prm-m 3

cd slime
bash ../openclaw-opd/run_qwen3_4b_openclaw_opd.sh

bash ../openclaw-opd/run_qwen3_4b_openclaw_opd_topk_lora.sh

cd openclaw-tinker
python run.py --method opd --model-name Qwen/Qwen3-8B --batch-size 16 --prm-m 1

运行后，模型将以 OpenAI 兼容的 API 形式提供服务，地址为：

http://<HOST_IP>:30000/v1

其中 <HOST_IP> 是运行强化学习服务器的机器的 IP 地址（例如 115.190.98.251）。端口 30000 是默认值，可通过 PORT 环境变量进行更改。

请记住这个端点——在下一步配置 OpenClaw 时需要用到它。

我们还提供了一个有趣的评估案例。一位学生使用 OpenClaw 完成作业，但不希望被发现使用了 AI。而一位老师同样使用 OpenClaw 批改学生的作业，希望评语具体且友好。

3. OpenClaw 设置

你可以使用自己的 OpenClaw，只需安装 此扩展。

如果你希望在捆绑的 OpenClaw 运行时中进行基于本地文件的技能创作，请参阅 openclaw/extensions/skill-bridge/README.md。

{
  "models": {
    "providers": {
      "qwen": {
        "baseUrl": "http://<HOST_IP>:30000/v1",
        "apiKey": "apiKey",
        "api": "openai-completions",
        "models": [
          {
            "id": "qwen3-4b",
            "name": "Qwen3 4B",
            "reasoning": true,
            "input": ["text"],
            "cost": {
              "input": 0,
              "output": 0,
              "cacheRead": 0,
              "cacheWrite": 0
            },
            "contextWindow": 32768,
            "maxTokens": 8192
          }
        ]
      }
    }
  }
}

{
  "models": {
    "providers": {
      "openclaw-rl": {
        "baseUrl": "http://localhost:30000/v1",
        "apiKey": "no-auth-needed",
        "api": "openai-completions",
        "models": [
          {
            "id": "qwen3-4b-lora",
            "name": "Qwen3 4B (OpenClaw-RL LoRA)",
            "reasoning": true,
            "input": ["text"],
            "cost": {
              "input": 0,
              "output": 0,
              "cacheRead": 0,
              "cacheWrite": 0
            },
            "contextWindow": 32768,
            "maxTokens": 8192
          }
        ]
      }
    }
  }
}

🔧 真实场景中的智能体强化学习

驱动我们个人智能体场景的相同异步强化学习框架，同样可以支持更广泛的真实世界环境中的大规模优化。

🖥️ 终端智能体 — 最广泛使用的计算机使用智能体

cd slime
bash ../terminal-rl/terminal_qwen3_8b_rl.sh

有关设置详情，请参阅 ./terminal-rl/README.md。

📟 GUI 智能体 — 最通用的计算机使用智能体

cd slime
bash ../gui-rl/gui_qwen3vl_8b_rl.sh

有关设置详情，请参阅 ./gui-rl/README.md。

👨‍💻 SWE 智能体 — 软件工程智能体

cd slime
bash ../swe-rl/run_swe_rl_32b_remote_8nodes.sh

有关设置详情，请参阅 ./swe-rl/README.md。

🛠️ 工具调用智能体 — 最实用的智能体

cd slime
bash ../toolcall-rl/retool_qwen3_4b_rl.sh

有关设置详情，请参阅 ./toolcall-rl/README.md。

📖 引用

@article{wang2026openclawrl,
  title={OpenClaw-RL: 通过简单对话即可训练任何智能体},
  author={Wang, Yinjie and Chen, Xuyang and Jin, Xiaolong and Wang, Mengdi and Yang, Ling},
  journal={arXiv preprint arXiv:2603.10165},
  year={2026}
}

@article{wang2026rlanything,
  title={RLAnything: 在完全动态的强化学习系统中构建环境、策略和奖励模型},
  author={Wang, Yinjie and Xie, Tianbao and Shen, Ke and Wang, Mengdi and Yang, Ling},
  journal={arXiv preprint arXiv:2602.02488},
  year={2026}
}

🙏 致谢

本研究旨在探索更有效的智能体强化学习范式。我们的实现基于 slime、OpenClaw、Tinker 和 Open-AgentRL 等优秀开源项目。

我们还利用 SETA 的数据集和智能体框架构建终端 RL，使用 OSWorld 的评估脚本构建 GUI RL，使用 mini-swe-agent 的评估脚本构建 SWE RL，并基于 Retool 的工作构建工具调用 RL。

我们衷心感谢这些项目提供的宝贵见解和高质量实现，它们极大地促进了我们的研究。

⚠️ 提醒

在使用 OpenClaw-RL 时，请勿在与模型对话过程中提供敏感的个人信息。同时，请务必妥善保管您的 API 密钥，切勿将其暴露在提示词、日志或共享文件中。

OpenClaw-RL 快速上手指南

OpenClaw-RL 是一个全异步强化学习（RL）框架，旨在通过自然对话反馈训练个性化的 AI 智能体，并支持在终端、GUI、软件工程（SWE）及工具调用等真实场景中进行大规模智能体训练。其核心特点是完全异步、本地私有部署以及零人工标注。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: 支持 CUDA 的 NVIDIA GPU（根据模型大小决定显存需求，建议 24GB+ 以运行主流大模型）
• Python: 3.10 或更高版本
• 网络: 访问 Hugging Face 或 ModelScope（国内推荐）以下载模型权重

前置依赖

确保已安装以下基础工具：

• git
• conda 或 venv (用于管理 Python 环境)
• nvidia-cuda-toolkit (匹配你的 GPU 驱动)
• ray (用于分布式任务调度)

国内加速建议：

• 使用清华源或阿里源加速 Python 包安装。
• 使用 ModelScope 或 Hugging Face 镜像站下载模型。

安装步骤

1. 克隆仓库

git clone https://github.com/Gen-Verse/OpenClaw-RL.git
cd OpenClaw-RL

2. 创建并激活虚拟环境

conda create -n openclaw-rl python=3.10 -y
conda activate openclaw-rl

3. 安装核心依赖

安装基于 slime 的训练框架及 openclaw 运行时依赖。

# 安装基础依赖 (建议使用国内镜像源加速)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 slime 训练框架 (如果未自动包含)
pip install -e ./slime

# 安装 openclaw 插件核心
pip install -e ./openclaw

4. 配置模型与环境变量

设置必要的环境变量，指定模型路径（支持本地路径或 ModelScope ID）。

export MODEL_NAME="Qwen/Qwen2.5-7B-Instruct" # 示例模型，可替换为本地路径
export OPENCLAW_API_KEY="your_secret_key"    # 自定义 API Key
export RAY_HEAD_NODE_IP="127.0.0.1"          # Ray 集群头节点 IP

基本使用

OpenClaw-RL 的核心工作流是：启动服务 -> 拦截对话 -> 后台异步训练。以下是最简单的“个人智能体优化”启动示例（基于 Binary RL + OPD 组合方法）。

1. 启动训练任务

使用提供的脚本一键启动混合强化学习训练。该脚本会自动处理数据收集、奖励模型评估和策略更新。

# 进入组合方法目录
cd openclaw-combine

# 运行启动脚本 (请根据实际显卡数量调整参数)
bash run_qwen25_7b_openclaw_combine.sh

脚本说明： 该脚本内部会调用 ray job submit，启动包括 rollout (数据采集), judge (评估), 和 trainer (训练) 在内的四个异步组件。

2. 连接并使用智能体

训练启动后，OpenClaw-RL 会在本地暴露一个兼容 OpenAI 格式的 API 端点。你可以直接通过聊天客户端或代码与之交互，交互数据将自动用于后续训练。

使用 curl 测试接口：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${OPENCLAW_API_KEY}" \
  -d '{
    "model": "openclaw-personalized",
    "messages": [
      {"role": "user", "content": "帮我优化这段 Python 代码，使其运行更快。"}
    ],
    "stream": true
  }'

集成到 OpenClaw 插件： 如果你使用 VS Code 或其他支持 OpenClaw 的编辑器，安装 rl-training-headers 扩展，并在设置中指向本地 API 地址 http://localhost:8000，即可实现“边聊边训”。

3. 监控训练状态

查看 Ray 仪表盘以监控异步训练循环的状态、奖励曲线及模型检查点生成情况。

# 默认仪表盘地址通常为
echo "Visit http://localhost:8265 for Ray Dashboard"

提示：对于大规模通用智能体训练（如终端操作、GUI 控制），请参考 terminal-rl, gui-rl 等子目录下的特定启动脚本，配置相应的环境交互接口。