[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-PRIME-RL--SimpleVLA-RL":3,"tool-PRIME-RL--SimpleVLA-RL":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":90,"env_os":91,"env_gpu":92,"env_ram":93,"env_deps":94,"category_tags":106,"github_topics":108,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":112,"updated_at":113,"faqs":114,"releases":144},8047,"PRIME-RL\u002FSimpleVLA-RL","SimpleVLA-RL","[ICLR 2026] SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning","SimpleVLA-RL 是一个专为视觉 - 语言 - 动作模型（VLA）打造的高效强化学习开源框架，旨在解决机器人在数据稀缺环境下难以完成长程规划任务的难题。传统监督微调（SFT）方法在面对复杂任务时往往表现受限，而 SimpleVLA-RL 通过引入强化学习机制，显著提升了模型在仿真及真实世界场景中的决策能力与泛化水平，甚至在长周期灵巧操作中实现了比 SFT 模型高出约 300% 的性能提升，并展现出惊人的自动恢复能力。\n\n该工具特别适合机器人领域的研究人员与开发者使用，尤其是那些希望探索端到端 VLA 训练、优化长程任务策略或进行真实世界部署的团队。其技术亮点包括：基于 veRL 构建的端到端流水线，支持多环境并行渲染以加速轨迹采样；采用极简的二元奖励机制（0\u002F1），无需复杂的奖励工程设计；内置动态采样、自适应裁剪等先进探索策略。此外，它已兼容 OpenVLA 等主流模型及 LIBERO、RoboTwin 等基准测试，架构模块化设计便于后续扩展新算法与场景。无论是学术研究还是工程落地，SimpleVLA-RL 都为提升机器人智能提供了强大而灵活的基础设施。","\u003Cdiv align=\"center\">\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_readme_dfbb487dd86c.png\" width=\"260\"\u002F>\n\n## SimpleVLA-RL: Open RL Framework for Vision–Language–Action Models\n\n[![Paper](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-A42C25?style=for-the-badge&logo=arxiv&logoColor=white)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2509.09674) [![Github](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSimpleVLA--RL-000000?style=for-the-badge&logo=github&logoColor=white)](https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FSimpleVLA-RL) [![Hugging Face Collection](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModels-fcd022?style=for-the-badge&logo=huggingface&logoColor=000)](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FHaozhan72\u002Fsimplevla-rl-6833311430cd9df52aeb1f86) [![Twitter](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTwitter-%23000000.svg?style=for-the-badge&logo=x&logoColor=white)](https:\u002F\u002Fx.com\u002Fstingning\u002Fstatus\u002F1927770654385860804) [![WeChat](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWeChat--Group-07C160?style=for-the-badge&logo=wechat&logoColor=white)](figs\u002Fwechat-group.png)\n\n\u003C\u002Fdiv>\n\n\u003C!-- \u003Cdiv align=\"center\">\n  \u003Cp>\n    \u003Ca href=\"#news\" style=\"text-decoration: none; font-weight: bold;\">🎉 News\u003C\u002Fa> •\n    \u003Ca href=\"#overview\" style=\"text-decoration: none; font-weight: bold;\">📖 Overview\u003C\u002Fa> •\n    \u003Ca href=\"#main-results\" style=\"text-decoration: none; font-weight: bold;\">📃 Main Results\u003C\u002Fa> •\n    \u003Ca href=\"#getting-started\" style=\"text-decoration: none; font-weight: bold;\">✨ Getting Started\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cp>\n    \u003Ca href=\"#acknowledgement\" style=\"text-decoration: none; font-weight: bold;\">🌻 Acknowledgement\u003C\u002Fa> •\n    \u003Ca href=\"#contact\" style=\"text-decoration: none; font-weight: bold;\">📨 Contact\u003C\u002Fa> •\n    \u003Ca href=\"#todo\" style=\"text-decoration: none; font-weight: bold;\">📝 TODO\u003C\u002Fa> •\n    \u003Ca href=\"#citation\" style=\"text-decoration: none; font-weight: bold;\">🎈 Citation\u003C\u002Fa>\n  \u003C\u002Fp>\n\u003C\u002Fdiv> -->\n**SimpleVLA-RL** is an efficient RL framework for VLA that improves long-horizon planning under data scarcity. It leverages reinforcement learning that can substantially outperforms SFT in simulation and real-world tasks, reveals a \"pushcut\" new-action phenomenon, and strengthens spatial\u002Fobject\u002Fgoal generalization.\n\u003C\u002Fdiv>\n\n# 🎉News\n- **[2026-01-01]** **Building upon $${\\color{red}\\textbf{SimpleVLA-RL}}$$, we have implemented $${\\color{red}\\textbf{real-world RL }}$$   on long-horizon dexterous tasksand witnessed a $${\\color{red}\\textbf{non-trivial}}$$ (~relatively 300\\%)  performance improvement over the SFT model, along with surprising capabilities on auto-recovery. Blog coming soon.**\n\n\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F45fca289-39d4-4a42-8014-1ef7eff2d806\n\n\n\n- **[2025-10-01]** **SimpleVLA-RL** now supports RoboTwin2.0 Benchmark. Feel free to experiment with it!\n- **[2025-09-12]** Excited to release the **SimpleVLA-RL** paper! Check it out: [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2509.09674).\n- **[2025-05-27]** We release the code of **SimpleVLA-RL**.\n\n\u003C\u002Fdiv>\n\n# 📌Highlights\n\n#### Efficient and Effective VLA Reinforcement Learning Framework\n- End-to-end VLA RL pipeline built on [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl) with VLA-specific optimizations\n- Multi-environment parallel rendering significantly accelerates VLA trajectory sampling\n- Leverages [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl)'s state-of-the-art infrastructure: efficient distributed training (FSDP), hybrid communication patterns, and optimized memory management for fast training\u002Finference\n\n#### Model and Environment Support\n- **VLA Models**: [OpenVLA](https:\u002F\u002Fgithub.com\u002Fopenvla\u002Fopenvla), [OpenVLA-OFT](https:\u002F\u002Fgithub.com\u002Fmoojink\u002Fopenvla-oft)\n- **Benchmarks**: [LIBERO](https:\u002F\u002Fgithub.com\u002FLifelong-Robot-Learning\u002FLIBERO), [RoboTwin 1.0\u002F2.0](https:\u002F\u002Fgithub.com\u002FTianxingChen\u002FRoboTwin)\n- Modular architecture for easy integration of new VLA models, benchmarks and RL algorithms (Upcoming)\n\n#### Minimal Reward Engineering and Exploration Strategies\n- Binary (0\u002F1) outcome rewards - no complex reward design needed\n- Exploration strategies: dynamic sampling, adaptive clipping, temperature tuning\n\u003C\u002Fdiv>\n\n# 🔧Key Implementations\n\nSimpleVLA-RL extends veRL with VLA-specific components across the following modules:\n\n**[`verl\u002Ftrainer\u002Fmain_ppo.py`](verl\u002Ftrainer\u002Fmain_ppo.py)**\n- Main entry point with ray initialization\n- `RobRewardManager` for reward distribution\n\n**[`verl\u002Ftrainer\u002Fppo\u002Fray_trainer.py`](verl\u002Ftrainer\u002Fppo\u002Fray_trainer.py)**\n- Main RL training loop: data loading, VLA rollout, model updates, evaluation, checkpointing\n- RL algorithm-specific advantage computation\n\n**[`verl\u002Fworkers\u002Ffsdp_workers.py`](verl\u002Fworkers\u002Ffsdp_workers.py)**\n- Source of core functions called in `ray_trainer.py`\n- VLA model\u002Foptimizer initialization, `generate_sequences`, `compute_entropy`, `update_actor`\n\n**[`verl\u002Fworkers\u002Factor\u002Fdp_rob.py`](verl\u002Fworkers\u002Factor\u002Fdp_rob.py)**\n- Specific implementation of functions in `fsdp_workers.py`\n- RL loss computation, policy updates, `compute_log_prob`, `compute_entropy`\n\n**[`verl\u002Fworkers\u002Frollout\u002Frob_rollout.py`](verl\u002Fworkers\u002Frollout\u002Frob_rollout.py)**\n- VLA rollout implementation: environment creation, multi-environment parallel rendering, VLA action generation, environment interaction, video saving, trajectory and 0\u002F1 reward collection\n\n**[`verl\u002Futils\u002Fdataset\u002Frob_dataset.py`](verl\u002Futils\u002Fdataset\u002Frob_dataset.py)**\n- Dataset construction for training\u002Ftesting across benchmarks\n\n**[`verl\u002Futils\u002Fvla_utils\u002F`](verl\u002Futils\u002Fvla_utils\u002F)**\n- VLA model implementations (OpenVLA-OFT\u002FOpenVLA from official code)\n\u003C\u002Fdiv>\n\n# ✨Getting Started\n\n#### 1. Set Up the Environment\n\nSee [SETUP.md](SETUP.md) for detailed instructions on setting up the conda environment.  \n\n#### 2. Prepare the SFT Model\n\nAn **SFT (Supervised Fine-Tuning)** VLA model is required for RL training. Below are the available options:\n\n* **OpenVLA-OFT SFT Models**  \n  Download from the [SimpleVLA-RL Collection](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FHaozhan72\u002Fsimplevla-rl-6833311430cd9df52aeb1f86). Available models include:\n  - `libero-10 traj1\u002Ftrajall SFT`\n  - `libero-goal\u002Fobject\u002Fspatial traj1 SFT`\n  - `Robotwin2.0 tasks traj1000 SFT`\n* **OpenVLA SFT Models**  \n  Download from [here](https:\u002F\u002Fhuggingface.co\u002Fopenvla).\n\n* **Other Models**  \n  For other models, you may need to fine-tune them yourself.\n\n#### 3. Train with SimpleVLA-RL\n\nBefore running the training script, ensure the following configurations are properly set:\n\n- **Set Your Weights and Biases (WandB) API Key**  \n   Replace the `WANDB_API_KEY` field in `SimpleVLA-RL\u002Falign.json` with your own WandB API key.\n\n- **Modify Key Variables**  \n   Update the following variables in `examples\u002Frun_openvla_oft_rl_libero\u002Ftwin2.sh` as needed:\n  - `WANDB_API_KEY`: Your WandB API key.\n  - `EXPERIMENT_NAME`: The name of your experiment. You can choose any name.\n  - `SFT_MODEL_PATH`: Path to your SFT model.\n  - `CKPT_PATH`: Path where your checkpoints will be saved.\n  - `DATASET_NAME`: For detailed options, refer to `examples\u002Frun_openvla_oft_rl_libero\u002Ftwin2.sh`.\n  - `ALIGN_PATH`: Path to the `SimpleVLA-RL\u002Falign.json` file.\n  - `NUM_GPUS`: Number of GPUs available per node (e.g., `8`).\n  - `NUM_NODES`: Number of nodes used for RL training (e.g., `1`).\n\n> [!NOTE]\n> \n> - The script has been tested on the following configurations:\n>   - Single-node setup: `NUM_NODES=1`, `NUM_GPUS=8` (1 node with 8 NVIDIA A800 GPUs, each having 80GB memory).\n>   - Multi-node setup: `NUM_NODES=2`, `NUM_GPUS=8` (2 nodes with 16 NVIDIA A800 GPUs, each having 80GB memory).\n> - The driver version used is `470.161.03`, and the CUDA version is `12.4`. *(Not necessary)*\n\n- **Run RL Training**  \n   Use the following command to start RL training for OpenVLA-OFT on the LIBERO or RoboTwin2.0 benchmark:\n  \n  ```bash\n  bash examples\u002Frun_openvla_oft_rl_libero.sh\n  or\n  bash examples\u002Frun_openvla_oft_rl_twin2.sh\n  ```\n  \n\n#### 4. Run Evaluation\n\nTo evaluate the performance of your model, enable evaluation mode by setting `trainer.val_only=True` in `examples\u002Frun_openvla_oft_rl_libero\u002Ftwin2.sh`. Then, execute the same script:\n\n```bash\nbash examples\u002Frun_openvla_oft_rl_libero.sh\nor\nbash examples\u002Frun_openvla_oft_rl_twin2.sh\n```\n\n# 📃 Main Results\n\nWe evaluate SimpleVLA-RL on the LIBERO using OpenVLA-OFT. SimpleVLA-RL improves the performance of OpenVLA-OFT to 97.6 points on LIBERO-Long and sets a new state-of-the-art. Remarkably, using only one trajectory per task for cold-start SFT, SimpleVLA-RL raises the performance of OpenVLA-OFT from 17.3 to 91.7, yielding an improvement of 74.4 points (430.1%).\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_readme_3be0b029b425.png\" alt=\"Main Results of SimpleVLA-RL.\" width=\"90%\" \u002F>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_readme_8761b2f8ec68.png\" alt=\"Overview of SimpleVLA-RL.\" width=\"90%\" \u002F>\n\u003C\u002Fdiv>\n\n# 🌻Acknowledgement\n\nWe develop this preview version of the code based on [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl), [OpenVLA-OFT](https:\u002F\u002Fgithub.com\u002Fmoojink\u002Fopenvla-oft), [RoboTwin2.0](https:\u002F\u002Fgithub.com\u002FRoboTwin-Platform\u002FRoboTwin.git), and [PRIME](https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FPRIME). We acknowledge their significant contributions!\nFor further details and updates, please refer to the official documentation and repositories of the respective projects.\n\u003C\u002Fdiv>\n\n\n\u003C\u002Fdiv>\n\n# 📝Roadmap\n\n### Expanding Model Support\n- [ ] Support advanced diffusion based RL: [pi0](https:\u002F\u002Fgithub.com\u002FPhysical-Intelligence\u002Fopenpi) and [pi0.5](https:\u002F\u002Fgithub.com\u002FPhysical-Intelligence\u002Fopenpi) with flow matching RL\n- [ ] Support more VLA models: especially for lightweight ones (e.g. [VLA-Adapter](https:\u002F\u002Fgithub.com\u002FOpenHelix-Team\u002FVLA-Adapter), [SmolVLA](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Flerobot\u002Fsmolvla))\n\n### Expanding Environment Support\n- [ ] Support more benchmarks: e.g. [SimplerEnv](https:\u002F\u002Fgithub.com\u002Fsimpler-env\u002FSimplerEnv), [BEHAVIOR](https:\u002F\u002Fgithub.com\u002Fbehavior-robot-suite\u002Fbrs-algo), [Calvin](https:\u002F\u002Fgithub.com\u002Fmees\u002Fcalvin)\n- [ ] Support real-world RL.\n\n### Expanding Framework\n- [ ] Additional online RL methods and Offline RL algorithms\n- [ ] Modular environment and VLA interface for easy adaptation\n- [ ] Further optimize the RL framework to achieve more efficient training\n\u003C\u002Fdiv>\n\n# 📨Contact\n\n- Haozhan Li: zhan72426@gmail.com\n- Ning Ding: dingning@mail.tsinghua.edu.cn\n\n# 🎈Citation\n\nIf you find SimpleVLA-RL helpful, please cite us:\n\n```bibtex\n@article{li2025simplevla,\n  title={SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning},\n  author={Li, Haozhan and Zuo, Yuxin and Yu, Jiale and Zhang, Yuhao and Yang, Zhaohui and Zhang, Kaiyan and Zhu, Xuekai and Zhang, Yuchen and Chen, Tianxing and Cui, Ganqu and others},\n  journal={arXiv preprint arXiv:2509.09674},\n  year={2025}\n}\n```\n\n# 🌟Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_readme_d0eccf6d8187.png)](https:\u002F\u002Fwww.star-history.com\u002F#PRIME-RL\u002FSimpleVLA-RL&Date)\n","\u003Cdiv align=\"center\">\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_readme_dfbb487dd86c.png\" width=\"260\"\u002F>\n\n## SimpleVLA-RL：面向视觉-语言-动作模型的开源强化学习框架\n\n[![论文](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-A42C25?style=for-the-badge&logo=arxiv&logoColor=white)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2509.09674) [![GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSimpleVLA--RL-000000?style=for-the-badge&logo=github&logoColor=white)](https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FSimpleVLA-RL) [![Hugging Face 模型合集](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModels-fcd022?style=for-the-badge&logo=huggingface&logoColor=000)](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FHaozhan72\u002Fsimplevla-rl-6833311430cd9df52aeb1f86) [![Twitter](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTwitter-%23000000.svg?style=for-the-badge&logo=x&logoColor=white)](https:\u002F\u002Fx.com\u002Fstingning\u002Fstatus\u002F1927770654385860804) [![微信](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWeChat--Group-07C160?style=for-the-badge&logo=wechat&logoColor=white)](figs\u002Fwechat-group.png)\n\n\u003C\u002Fdiv>\n\n\u003C!-- \u003Cdiv align=\"center\">\n  \u003Cp>\n    \u003Ca href=\"#news\" style=\"text-decoration: none; font-weight: bold;\">🎉 新闻\u003C\u002Fa> •\n    \u003Ca href=\"#overview\" style=\"text-decoration: none; font-weight: bold;\">📖 概述\u003C\u002Fa> •\n    \u003Ca href=\"#main-results\" style=\"text-decoration: none; font-weight: bold;\">📃 主要结果\u003C\u002Fa> •\n    \u003Ca href=\"#getting-started\" style=\"text-decoration: none; font-weight: bold;\">✨ 入门\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cp>\n    \u003Ca href=\"#acknowledgement\" style=\"text-decoration: none; font-weight: bold;\">🌻 致谢\u003C\u002Fa> •\n    \u003Ca href=\"#contact\" style=\"text-decoration: none; font-weight: bold;\">📨 联系方式\u003C\u002Fa> •\n    \u003Ca href=\"#todo\" style=\"text-decoration: none; font-weight: bold;\">📝 待办事项\u003C\u002Fa> •\n    \u003Ca href=\"#citation\" style=\"text-decoration: none; font-weight: bold;\">🎈 引用\u003C\u002Fa>\n  \u003C\u002Fp>\n\u003C\u002Fdiv> -->\n**SimpleVLA-RL** 是一个高效的 VLA 强化学习框架，在数据稀缺的情况下提升了长时程规划能力。它利用强化学习技术，在仿真和真实世界任务中显著优于监督微调（SFT），揭示了一种“pushcut”新动作现象，并增强了空间、物体及目标的泛化能力。\n\u003C\u002Fdiv>\n\n# 🎉新闻\n- **[2026-01-01]** 在 $${\\color{red}\\textbf{SimpleVLA-RL}}$$ 的基础上，我们在长时程灵巧任务上实现了 $${\\color{red}\\textbf{真实世界强化学习}}$，与 SFT 模型相比性能提升了 $${\\color{red}\\textbf{非平凡的}}$（约 300%），同时还展现出惊人的自动恢复能力。博客即将发布。**\n\n\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F45fca289-39d4-4a42-8014-1ef7eff2d806\n\n\n\n- **[2025-10-01]** **SimpleVLA-RL** 现已支持 RoboTwin2.0 基准测试。欢迎试用！\n- **[2025-09-12]** 我们很高兴地发布了 **SimpleVLA-RL** 论文！请查看：[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2509.09674)。\n- **[2025-05-27]** 我们发布了 **SimpleVLA-RL** 的代码。\n\n\u003C\u002Fdiv>\n\n# 📌亮点\n\n#### 高效且有效的 VLA 强化学习框架\n- 基于 [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl) 构建的端到端 VLA RL 流程，并进行了 VLA 特有的优化\n- 多环境并行渲染显著加速了 VLA 轨迹采样\n- 利用 [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl) 的先进基础设施：高效的分布式训练（FSDP）、混合通信模式以及优化的内存管理，实现快速训练和推理\n\n#### 模型与环境支持\n- **VLA 模型**：[OpenVLA](https:\u002F\u002Fgithub.com\u002Fopenvla\u002Fopenvla)、[OpenVLA-OFT](https:\u002F\u002Fgithub.com\u002Fmoojink\u002Fopenvla-oft)\n- **基准测试**：[LIBERO](https:\u002F\u002Fgithub.com\u002FLifelong-Robot-Learning\u002FLIBERO)、[RoboTwin 1.0\u002F2.0](https:\u002F\u002Fgithub.com\u002FTianxingChen\u002FRoboTwin)\n- 模块化架构，便于集成新的 VLA 模型、基准测试和强化学习算法（即将推出）\n\n#### 极简的奖励工程与探索策略\n- 二元（0\u002F1）结果奖励——无需复杂奖励设计\n- 探索策略：动态采样、自适应裁剪、温度调节\n\u003C\u002Fdiv>\n\n# 🔧关键实现\n\nSimpleVLA-RL 在 veRL 的基础上，增加了针对 VLA 的特定组件，涵盖以下模块：\n\n**[`verl\u002Ftrainer\u002Fmain_ppo.py`](verl\u002Ftrainer\u002Fmain_ppo.py)**\n- 主入口，包含 Ray 初始化\n- `RobRewardManager` 用于奖励分配\n\n**[`verl\u002Ftrainer\u002Fppo\u002Fray_trainer.py`](verl\u002Ftrainer\u002Fppo\u002Fray_trainer.py)**\n- 主要的强化学习训练循环：数据加载、VLA 滚动执行、模型更新、评估、检查点保存\n- 强化学习算法特有的优势计算\n\n**[`verl\u002Fworkers\u002Ffsdp_workers.py`](verl\u002Fworkers\u002Ffsdp_workers.py)**\n- 提供 `ray_trainer.py` 中调用的核心函数\n- VLA 模型和优化器的初始化、`generate_sequences`、`compute_entropy`、`update_actor`\n\n**[`verl\u002Fworkers\u002Factor\u002Fdp_rob.py`](verl\u002Fworkers\u002Factor\u002Fdp_rob.py)**\n- 对 `fsdp_workers.py` 中函数的具体实现\n- 强化学习损失计算、策略更新、`compute_log_prob`、`compute_entropy`\n\n**[`verl\u002Fworkers\u002Frollout\u002Frob_rollout.py`](verl\u002Fworkers\u002Frollout\u002Frob_rollout.py)**\n- VLA 滚动执行的实现：环境创建、多环境并行渲染、VLA 动作生成、环境交互、视频保存、轨迹及 0\u002F1 奖励收集\n\n**[`verl\u002Futils\u002Fdataset\u002Frob_dataset.py`](verl\u002Futils\u002Fdataset\u002Frob_dataset.py)**\n- 用于在不同基准测试中进行训练和测试的数据集构建\n\n**[`verl\u002Futils\u002Fvla_utils\u002F`](verl\u002Futils\u002Fvla_utils\u002F)**\n- VLA 模型的实现（来自官方代码的 OpenVLA-OFT\u002FOpenVLA）\n\u003C\u002Fdiv>\n\n# ✨开始使用\n\n#### 1. 设置环境\n\n请参阅 [SETUP.md](SETUP.md)，获取关于设置 conda 环境的详细说明。\n\n#### 2. 准备 SFT 模型\n\n进行强化学习训练需要一个 **SFT（监督微调）** VLA 模型。以下是可用的选项：\n\n* **OpenVLA-OFT SFT 模型**  \n  可从 [SimpleVLA-RL Collection](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FHaozhan72\u002Fsimplevla-rl-6833311430cd9df52aeb1f86) 下载。可用模型包括：\n  - `libero-10 traj1\u002Ftrajall SFT`\n  - `libero-goal\u002Fobject\u002Fspatial traj1 SFT`\n  - `Robotwin2.0 tasks traj1000 SFT`\n* **OpenVLA SFT 模型**  \n  可从 [这里](https:\u002F\u002Fhuggingface.co\u002Fopenvla)下载。\n\n* **其他模型**  \n  对于其他模型，您可能需要自行进行微调。\n\n#### 3. 使用 SimpleVLA-RL 进行训练\n\n在运行训练脚本之前，请确保以下配置已正确设置：\n\n- **设置您的 Weights and Biases (WandB) API 密钥**  \n   将 `SimpleVLA-RL\u002Falign.json` 文件中的 `WANDB_API_KEY` 字段替换为您自己的 WandB API 密钥。\n\n- **修改关键变量**  \n   根据需要更新 `examples\u002Frun_openvla_oft_rl_libero\u002Ftwin2.sh` 中的以下变量：\n  - `WANDB_API_KEY`: 您的 WandB API 密钥。\n  - `EXPERIMENT_NAME`: 您的实验名称。您可以选择任意名称。\n  - `SFT_MODEL_PATH`: 您的 SFT 模型路径。\n  - `CKPT_PATH`: 您的检查点保存路径。\n  - `DATASET_NAME`: 有关详细选项，请参阅 `examples\u002Frun_openvla_oft_rl_libero\u002Ftwin2.sh`。\n  - `ALIGN_PATH`: `SimpleVLA-RL\u002Falign.json` 文件的路径。\n  - `NUM_GPUS`: 每个节点可用的 GPU 数量（例如 `8`）。\n  - `NUM_NODES`: 用于强化学习训练的节点数量（例如 `1`）。\n\n> [!NOTE]\n> \n> - 该脚本已在以下配置上测试通过：\n>   - 单节点设置：`NUM_NODES=1`，`NUM_GPUS=8`（1 个节点，配备 8 块 NVIDIA A800 GPU，每块显存 80GB）。\n>   - 多节点设置：`NUM_NODES=2`，`NUM_GPUS=8`（2 个节点，配备 16 块 NVIDIA A800 GPU，每块显存 80GB）。\n> - 所使用的驱动版本为 `470.161.03`，CUDA 版本为 `12.4`。*(非必需)*\n\n- **运行强化学习训练**  \n   使用以下命令启动 OpenVLA-OFT 在 LIBERO 或 RoboTwin2.0 基准上的强化学习训练：\n  \n  ```bash\n  bash examples\u002Frun_openvla_oft_rl_libero.sh\n  或\n  bash examples\u002Frun_openvla_oft_rl_twin2.sh\n  ```\n  \n\n#### 4. 运行评估\n\n要评估您的模型性能，可在 `examples\u002Frun_openvla_oft_rl_libero\u002Ftwin2.sh` 中将 `trainer.val_only=True` 设置为开启评估模式。然后执行相同的脚本：\n\n```bash\nbash examples\u002Frun_openvla_oft_rl_libero.sh\n或\nbash examples\u002Frun_openvla_oft_rl_twin2.sh\n```\n\n# 📃 主要结果\n\n我们使用 OpenVLA-OFT 在 LIBERO 上评估了 SimpleVLA-RL。SimpleVLA-RL 将 OpenVLA-OFT 在 LIBERO-Long 上的性能提升至 97.6 分，并创造了新的最先进水平。值得注意的是，仅使用每个任务的一条轨迹进行冷启动 SFT，SimpleVLA-RL 就将 OpenVLA-OFT 的性能从 17.3 提升到 91.7，提升了 74.4 分（430.1%）。\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_readme_3be0b029b425.png\" alt=\"SimpleVLA-RL 的主要结果。\" width=\"90%\" \u002F>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_readme_8761b2f8ec68.png\" alt=\"SimpleVLA-RL 概览。\" width=\"90%\" \u002F>\n\u003C\u002Fdiv>\n\n# 🌻致谢\n\n我们基于 [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl)、[OpenVLA-OFT](https:\u002F\u002Fgithub.com\u002Fmoojink\u002Fopenvla-oft)、[RoboTwin2.0](https:\u002F\u002Fgithub.com\u002FRoboTwin-Platform\u002FRoboTwin.git) 和 [PRIME](https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FPRIME) 开发了这个代码预览版。我们感谢他们的重要贡献！如需更多详情和更新，请参阅各项目的官方文档和仓库。\n\u003C\u002Fdiv>\n\n\n\u003C\u002Fdiv>\n\n# 📝路线图\n\n### 拓展模型支持\n- [ ] 支持基于扩散的高级强化学习：[pi0](https:\u002F\u002Fgithub.com\u002FPhysical-Intelligence\u002Fopenpi) 和 [pi0.5](https:\u002F\u002Fgithub.com\u002FPhysical-Intelligence\u002Fopenpi)，结合流匹配强化学习\n- [ ] 支持更多 VLA 模型：尤其是轻量级模型（例如 [VLA-Adapter](https:\u002F\u002Fgithub.com\u002FOpenHelix-Team\u002FVLA-Adapter)、[SmolVLA](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Flerobot\u002Fsmolvla)）\n\n### 拓展环境支持\n- [ ] 支持更多基准：例如 [SimplerEnv](https:\u002F\u002Fgithub.com\u002Fsimpler-env\u002FSimplerEnv)、[BEHAVIOR](https:\u002F\u002Fgithub.com\u002Fbehavior-robot-suite\u002Fbrs-algo)、[Calvin](https:\u002F\u002Fgithub.com\u002Fmees\u002Fcalvin)\n- [ ] 支持真实世界强化学习。\n\n### 拓展框架\n- [ ] 添加更多在线强化学习方法和离线强化学习算法\n- [ ] 提供模块化的环境和 VLA 接口，便于适配\n- [ ] 进一步优化强化学习框架，以实现更高效的训练\n\u003C\u002Fdiv>\n\n# 📨联系方式\n\n- 李浩瞻：zhan72426@gmail.com\n- 丁宁：dingning@mail.tsinghua.edu.cn\n\n# 🎈引用\n\n如果您觉得 SimpleVLA-RL 有所帮助，请引用我们：\n\n```bibtex\n@article{li2025simplevla,\n  title={SimpleVLA-RL: 通过强化学习扩展 VLA 训练},\n  author={Li, Haozhan 和 Zuo, Yuxin 和 Yu, Jiale 和 Zhang, Yuhao 和 Yang, Zhaohui 和 Zhang, Kaiyan 和 Zhu, Xuekai 和 Zhang, Yuchen 和 Chen, Tianxing 和 Cui, Ganqu 等},\n  journal={arXiv 预印本 arXiv:2509.09674},\n  year={2025}\n}\n```\n\n# 🌟星标历史\n\n[![星标历史图表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_readme_d0eccf6d8187.png)](https:\u002F\u002Fwww.star-history.com\u002F#PRIME-RL\u002FSimpleVLA-RL&Date)","# SimpleVLA-RL 快速上手指南\n\nSimpleVLA-RL 是一个高效的视觉 - 语言 - 动作（VLA）模型强化学习框架，旨在解决数据稀缺下的长程规划问题。它基于 [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl) 构建，支持 OpenVLA 和 OpenVLA-OFT 模型，并在 LIBERO 和 RoboTwin 等基准测试中表现出色。\n\n## 1. 环境准备\n\n### 系统要求\n- **GPU**: 推荐单节点至少 8 张 NVIDIA A800 (80GB) 或同等算力显卡。\n- **驱动版本**: 推荐 Driver `470.161.03`。\n- **CUDA 版本**: 推荐 `12.4`。\n- **操作系统**: Linux (Ubuntu 20.04\u002F22.04 推荐)。\n\n### 前置依赖\n本项目依赖 Conda 环境管理。请确保已安装 Miniconda 或 Anaconda。\n\n> **注意**：详细的依赖安装步骤请参考项目根目录下的 [SETUP.md](SETUP.md) 文件。国内用户若遇到网络问题，建议在配置 conda 时使用清华或中科大镜像源。\n\n## 2. 安装步骤\n\n### 第一步：克隆代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FSimpleVLA-RL.git\ncd SimpleVLA-RL\n```\n\n### 第二步：创建并激活 Conda 环境\n请参照 `SETUP.md` 中的具体指令创建环境。通常流程如下（具体包版本以官方文档为准）：\n```bash\nconda create -n simplevla-rl python=3.10\nconda activate simplevla-rl\n# 安装 veRL 及其他核心依赖\npip install -e . \n# 其他特定依赖安装请参考 SETUP.md\n```\n\n### 第三步：准备 SFT 模型\n强化学习训练需要一个预训练的 SFT (Supervised Fine-Tuning) VLA 模型作为起点。你可以从 Hugging Face 下载官方提供的模型：\n\n*   **OpenVLA-OFT SFT 模型** (推荐):\n    访问 [SimpleVLA-RL Collection](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FHaozhan72\u002Fsimplevla-rl-6833311430cd9df52aeb1f86) 下载，例如：\n    *   `libero-10 traj1\u002Ftrajall SFT`\n    *   `Robotwin2.0 tasks traj1000 SFT`\n*   **OpenVLA SFT 模型**:\n    访问 [OpenVLA Official](https:\u002F\u002Fhuggingface.co\u002Fopenvla) 下载。\n\n下载后，记录模型在本地存储的路径。\n\n## 3. 基本使用\n\n### 配置训练参数\n在运行训练脚本前，需修改示例脚本中的关键变量。以 `examples\u002Frun_openvla_oft_rl_libero\u002Ftwin2.sh` 为例：\n\n1.  **配置 WandB**: 将 `align.json` 中的 `WANDB_API_KEY` 替换为你的 Key，或在脚本中直接指定。\n2.  **编辑脚本变量**:\n    ```bash\n    # 示例修改内容\n    export WANDB_API_KEY=\"your_wandb_key\"\n    export EXPERIMENT_NAME=\"my_first_vla_rl\"\n    export SFT_MODEL_PATH=\"\u002Fpath\u002Fto\u002Fyour\u002Fdownloaded\u002Fsft\u002Fmodel\"  # 指向下载的 SFT 模型路径\n    export CKPT_PATH=\".\u002Fcheckpoints\"                           # 检查点保存路径\n    export DATASET_NAME=\"libero\"                               # 或 \"twin2\"\n    export ALIGN_PATH=\".\u002Falign.json\"\n    export NUM_GPUS=8                                          # 单节点 GPU 数量\n    export NUM_NODES=1                                         # 节点数量\n    ```\n\n### 启动强化学习训练\n根据你要使用的基准测试（LIBERO 或 RoboTwin2.0），运行对应的 Shell 脚本：\n\n**训练 OpenVLA-OFT on LIBERO:**\n```bash\nbash examples\u002Frun_openvla_oft_rl_libero.sh\n```\n\n**训练 OpenVLA-OFT on RoboTwin2.0:**\n```bash\nbash examples\u002Frun_openvla_oft_rl_twin2.sh\n```\n\n### 模型评估\n训练完成后，或仅想评估现有模型性能时，无需重新编写命令。只需在脚本中设置 `trainer.val_only=True`，然后运行相同的脚本即可：\n\n1.  打开对应的 `.sh` 脚本（如 `twin2.sh`）。\n2.  找到配置部分，设置：\n    ```bash\n    # 在脚本参数中添加或修改\n    trainer.val_only=True\n    ```\n3.  执行脚本：\n    ```bash\n    bash examples\u002Frun_openvla_oft_rl_libero.sh\n    # 或\n    bash examples\u002Frun_openvla_oft_rl_twin2.sh\n    ```\n\n系统将自动加载最新的检查点并在指定环境中进行推理评估。","某机器人研发团队正致力于让机械臂在数据稀缺的情况下，完成如“整理杂乱桌面”这类需要长程规划的真实世界任务。\n\n### 没有 SimpleVLA-RL 时\n- **长程任务失败率高**：仅靠监督微调（SFT）训练的模型，一旦中间步骤出错便无法自救，导致整个长流程任务直接崩溃。\n- **数据依赖严重**：面对新物体或新布局，因缺乏大量标注演示数据，模型泛化能力极差，几乎无法执行未见过的操作。\n- **奖励设计复杂**：传统强化学习需要专家手动设计复杂的稠密奖励函数，耗时耗力且难以平衡各项指标。\n- **训练效率低下**：现有框架缺乏针对视觉 - 语言 - 动作（VLA）模型的优化，多环境并行采样慢，显存管理低效，迭代周期长达数周。\n\n### 使用 SimpleVLA-RL 后\n- **具备自动恢复能力**：利用强化学习策略，机械臂在操作失误后能自主修正错误（如重新抓取），长程任务成功率相对提升约 300%。\n- **极强的泛化性能**：仅需简单的二元（成功\u002F失败）奖励信号，模型即可在少样本下学会空间推理，轻松适应新物体和新目标。\n- **极简奖励工程**：无需设计复杂的奖励曲线，直接基于任务最终结果进行 0\u002F1 反馈，大幅降低了算法落地门槛。\n- **高效分布式训练**：基于 veRL 架构的多环境并行渲染与显存优化，将轨迹采样和模型训练速度提升数倍，快速验证新策略。\n\nSimpleVLA-RL 通过高效的强化学习框架，彻底解决了 VLA 模型在数据稀缺场景下长程规划难、泛化弱及训练慢的核心瓶颈。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPRIME-RL_SimpleVLA-RL_8761b2f8.png","PRIME-RL","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FPRIME-RL_fbf42880.jpg","Researching scalable (RL) methods on language models.",null,"https:\u002F\u002Fgithub.com\u002FPRIME-RL",[78,82],{"name":79,"color":80,"percentage":81},"Python","#3572A5",99.5,{"name":83,"color":84,"percentage":85},"Shell","#89e051",0.5,1591,100,"2026-04-15T14:18:12","MIT",4,"Linux","必需 NVIDIA GPU。测试配置为 NVIDIA A800 (80GB 显存)。单节点需 8 卡，多节点支持扩展。驱动版本 470.161.03，CUDA 版本 12.4。","未说明 (基于 80GB 显存的 GPU 配置，建议系统内存充足)",{"notes":95,"python":96,"dependencies":97},"1. 必须预先准备一个 SFT (监督微调) 版本的 VLA 模型才能开始 RL 训练。\n2. 运行前需在配置文件中设置 WandB API Key。\n3. 官方测试环境为单节点 8 卡 A800 (80GB) 或多节点集群。\n4. 详细的环境安装步骤需参考项目中的 SETUP.md 文件。\n5. 支持 LIBERO 和 RoboTwin 2.0 基准测试。","未说明 (需通过 conda 环境 setup)",[98,99,100,101,102,103,104,105],"veRL","ray","torch (FSDP 支持)","OpenVLA","OpenVLA-OFT","wandb","LIBERO","RoboTwin",[14,107],"其他",[109,110,111],"reasoning","rl","vla","2026-03-27T02:49:30.150509","2026-04-16T15:50:28.451301",[115,120,125,130,135,140],{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},36032,"训练所需的最小计算资源是多少？是否有推荐的配置？","根据社区复现经验，使用 8 张 H20 显卡的服务器可以成功进行训练。关于批量大小（batchsize），实验表明设置 batchsize=32 且 n_sample=8（每批 256 条轨迹）仍能通过 RL 训练获得显著的准确率提升，但最终收敛的准确率略低于 batchsize=64 的配置。","https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FSimpleVLA-RL\u002Fissues\u002F8",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},36033,"运行训练脚本时遇到 'NameError: name 'unnorm_key' is not defined' 错误如何解决？","该错误的根本原因是当直接从 Hugging Face 加载模型路径时，无法正确找到本地的 dataset_statistics.json 文件。有两种解决方案：\n1. **方案一（推荐）**：先将模型 \"Haozhan72\u002FOpenvla-oft-SFT-libero10-trajall\" 下载到本地，然后将 SFT_MODEL_PATH 指向该本地路径。\n2. **方案二**：保持 SFT_MODEL_PATH 不变，但需单独从 Hugging Face 下载 dataset_statistics 文件并加载（参考 PR #16 的修复方法）。","https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FSimpleVLA-RL\u002Fissues\u002F11",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},36034,"在多节点或多 GPU 无头服务器训练时，遇到 EGLGLContext 或 MjRenderContextOffscreen 相关的 AttributeError 怎么办？","这是 Mujoco 渲染上下文的问题，可以通过设置环境变量解决。尝试以下步骤：\n1. 导出环境变量：`export MUJOCO_GL=osmesa`（许多用户确认此方法有效）。\n2. 如果使用多 GPU 无头服务器，也可以尝试 `export MUJOCO_GL=egl`。\n3. 确保安装特定版本的 PyOpenGL：`pip install PyOpenGL==3.1.5`。\n4. 参考 PyTorch RL 官方文档中的 Mujoco 安装指南进行检查。","https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FSimpleVLA-RL\u002Fissues\u002F7",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},36035,"安装时遇到 verl 版本兼容性错误或环境冲突怎么办？","该项目依赖特定版本的 verl。请执行以下命令安装兼容版本：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl.git\ncd verl\ngit checkout v0.2.x\npip install --no-deps -e .\n```\n注意：当前版本仅支持 verl \u003C 3.0.0，请使用 v0.2.x 分支以避免报错。","https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FSimpleVLA-RL\u002Fissues\u002F1",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},36036,"为什么 OpenVLA-OFT 在 LIBERO 上的结果（如 Long 任务仅 17.3%）比原论文低很多？什么是 'one-trajectory SFT'？","性能差异源于数据用量的不同。本项目使用的 'one-trajectory SFT' 是指每个任务仅使用 1 条演示轨迹进行监督微调。例如 LIBERO-Long 有 10 个任务，总共仅使用 10 条轨迹（10×1）。而其他论文通常使用全部演示数据（每个任务 50 条，共 500 条），即 'full-trajectory SFT'。由于微调数据减少了 50 倍，因此成功率自然较低（17.3%）。此外，本项目使用了离散动作（discrete actions），这也是与原实现的一个区别。","https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FSimpleVLA-RL\u002Fissues\u002F24",{"id":141,"question_zh":142,"answer_zh":143,"source_url":119},36037,"强化学习中的异步训练与批量大小设置对效果有何影响？","异步训练确实与具体的 RL 算法有关。关于批量大小，维护者实验发现：使用 batchsize=32 和 n_sample=8（每批 256 条轨迹）的配置仍然可以通过 RL 训练实现显著的准确率提升。不过，与 batchsize=64、n_sample=8 的配置相比，较小批量大小的最终收敛准确率会稍低一些。",[]]