[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-hiyouga--EasyR1":3,"similar-hiyouga--EasyR1":118},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":9,"readme_en":10,"readme_zh":11,"quickstart_zh":12,"use_case_zh":13,"hero_image_url":14,"owner_login":15,"owner_name":16,"owner_avatar_url":17,"owner_bio":18,"owner_company":19,"owner_location":20,"owner_email":21,"owner_twitter":22,"owner_website":23,"owner_url":24,"languages":25,"stars":38,"forks":39,"last_commit_at":40,"license":41,"difficulty_score":42,"env_os":43,"env_gpu":44,"env_ram":45,"env_deps":46,"category_tags":53,"github_topics":58,"view_count":67,"oss_zip_url":23,"oss_zip_packed_at":23,"status":68,"created_at":69,"updated_at":70,"faqs":71,"releases":102},8969,"hiyouga\u002FEasyR1","EasyR1","EasyR1: An Efficient, Scalable, Multi-Modality RL Training Framework based on veRL","EasyR1 是一个高效、可扩展的多模态强化学习（RL）训练框架，基于 veRL 项目优化而来，专为视觉 - 语言模型设计。它主要解决了大模型在强化学习训练中效率低、扩展性差以及多模态支持不足的痛点，让开发者能够更轻松地利用 GRPO、DAPO 等先进算法对模型进行微调。\n\n无论是研究人员还是 AI 工程师，只要需要训练 Llama3、Qwen2-VL 或 DeepSeek-R1 等主流模型，EasyR1 都能提供强有力的支持。其独特亮点在于集成了 HybridEngine 架构与 vLLM 的 SPMD 模式，显著提升了训练速度与资源利用率。此外，它还支持无填充训练、LoRA 高效微调、断点续训以及多种实验追踪工具（如 Wandb、Tensorboard），并兼容文本及图文混合数据集。\n\n在硬件需求上，EasyR1 通过优化显存占用，使得在消费级显卡上运行小规模模型微调成为可能，同时也支持大规模集群部署。只需简单几步配置，用户即可在 Geometry3K 等数据集上快速启动训练任务。对于希望探索多模态大模型强化学习应用的技术团队而言，EasyR1 提供了一个开箱即用且性能卓越的基础设","EasyR1 是一个高效、可扩展的多模态强化学习（RL）训练框架，基于 veRL 项目优化而来，专为视觉 - 语言模型设计。它主要解决了大模型在强化学习训练中效率低、扩展性差以及多模态支持不足的痛点，让开发者能够更轻松地利用 GRPO、DAPO 等先进算法对模型进行微调。\n\n无论是研究人员还是 AI 工程师，只要需要训练 Llama3、Qwen2-VL 或 DeepSeek-R1 等主流模型，EasyR1 都能提供强有力的支持。其独特亮点在于集成了 HybridEngine 架构与 vLLM 的 SPMD 模式，显著提升了训练速度与资源利用率。此外，它还支持无填充训练、LoRA 高效微调、断点续训以及多种实验追踪工具（如 Wandb、Tensorboard），并兼容文本及图文混合数据集。\n\n在硬件需求上，EasyR1 通过优化显存占用，使得在消费级显卡上运行小规模模型微调成为可能，同时也支持大规模集群部署。只需简单几步配置，用户即可在 Geometry3K 等数据集上快速启动训练任务。对于希望探索多模态大模型强化学习应用的技术团队而言，EasyR1 提供了一个开箱即用且性能卓越的基础设施选择。","# EasyR1: An Efficient, Scalable, Multi-Modality RL Training Framework\n\n[![GitHub Repo stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhiyouga\u002FEasyR1)](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fstargazers)\n[![Twitter](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002Fllamafactory_ai)](https:\u002F\u002Ftwitter.com\u002Fllamafactory_ai)\n[![Docker Pulls](https:\u002F\u002Fimg.shields.io\u002Fdocker\u002Fpulls\u002Fhiyouga\u002Fverl)](https:\u002F\u002Fhub.docker.com\u002Fr\u002Fhiyouga\u002Fverl\u002Ftags)\n\n### Used by [Amazon Web Services](https:\u002F\u002Faws.amazon.com\u002Fcn\u002Fblogs\u002Fchina\u002Fbuilding-llm-model-hub-based-on-llamafactory-and-easyr1\u002F)\n\nThis project is a clean fork of the original [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl) project to support vision language models, we thank all the authors for providing such a high-performance RL training framework.\n\nEasyR1 is efficient and scalable due to the design of **[HybirdEngine](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.19256)** and the latest release of **[vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)**'s SPMD mode.\n\n## Features\n\n- Supported models\n  - Llama3\u002FQwen2\u002FQwen2.5\u002FQwen3 language models\n  - Qwen2-VL\u002FQwen2.5-VL\u002FQwen3-VL vision language models\n  - DeepSeek-R1 distill models\n\n- Supported algorithms\n  - GRPO\n  - DAPO ![new](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fnew-orange)\n  - Reinforce++\n  - ReMax\n  - RLOO\n  - GSPO ![new](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fnew-orange)\n  - CISPO ![new](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fnew-orange)\n\n- Supported datasets\n  - Any text, vision-text dataset in a [specific format](#custom-dataset)\n\n- Supported tricks\n  - Padding-free training\n  - LoRA training ![new](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fnew-orange)\n  - Resuming from the latest\u002Fbest checkpoint\n  - Wandb & SwanLab & Mlflow & Tensorboard tracking\n\n## Requirements\n\n### Software Requirements\n\n- Python 3.9+\n- transformers>=4.54.0\n- flash-attn>=2.4.3\n- vllm>=0.8.3\n\nWe provide a [Dockerfile](.\u002FDockerfile) to easily build environments.\n\nWe recommend using the [pre-built docker image](https:\u002F\u002Fhub.docker.com\u002Fr\u002Fhiyouga\u002Fverl) in EasyR1.\n\n```bash\ndocker pull hiyouga\u002Fverl:ngc-th2.8.0-cu12.9-vllm0.11.0\ndocker run -it --ipc=host --gpus=all hiyouga\u002Fverl:ngc-th2.8.0-cu12.9-vllm0.11.0\n```\n\nIf your environment does not support Docker, you can consider using **Apptainer**:\n\n```bash\napptainer pull easyr1.sif docker:\u002F\u002Fhiyouga\u002Fverl:ngc-th2.8.0-cu12.9-vllm0.11.0\napptainer shell --nv --cleanenv --bind \u002Fmnt\u002Fyour_dir:\u002Fmnt\u002Fyour_dir easyr1.sif\n```\n\nUse `USE_MODELSCOPE_HUB=1` to download models from the ModelScope hub.\n\n### Hardware Requirements\n\n\\* *estimated*\n\n| Method                   | Bits |  1.5B  |   3B   |   7B   |   32B   |   72B   |\n| ------------------------ | ---- | ------ | ------ | ------ | ------- | ------- |\n| GRPO Full Fine-Tuning    |  AMP | 2*24GB | 4*40GB | 8*40GB | 16*80GB | 32*80GB |\n| GRPO Full Fine-Tuning    | BF16 | 1*24GB | 1*40GB | 4*40GB |  8*80GB | 16*80GB |\n| GRPO LoRA Fine-Tuning    |  AMP | 1*12GB | 1*24GB | 2*32GB |  2*80GB |  4*80GB |\n\n> [!NOTE]\n> Use `worker.actor.fsdp.torch_dtype=bf16` and `worker.actor.optim.strategy=adamw_bf16` to enable bf16 training.\n\n## Tutorial: Run Qwen2.5-VL GRPO on [Geometry3K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fgeometry3k) Dataset in Just 3 Steps\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhiyouga_EasyR1_readme_f7570555e707.png)\n\n### Installation\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1.git\ncd EasyR1\npip install -e .\n```\n\n### GRPO Full Training\n\n```bash\nbash examples\u002Fqwen2_5_vl_7b_geo3k_grpo.sh\n```\n\n### GRPO LoRA Training\n\n```bash\nbash examples\u002Fqwen3_vl_4b_geo3k_grpo_lora.sh\n```\n\n### Merge Checkpoint in Hugging Face Format\n\n```bash\npython3 scripts\u002Fmodel_merger.py --local_dir checkpoints\u002Feasy_r1\u002Fexp_name\u002Fglobal_step_1\u002Factor\n```\n\n> [!TIP]\n> If you encounter issues with connecting to Hugging Face, consider using `export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com`.\n>\n> If you want to use SwanLab logger, consider using `bash examples\u002Fqwen2_5_vl_7b_geo3k_swanlab.sh`.\n\n## Custom Dataset\n\nPlease refer to the example datasets to prepare your own dataset.\n\n- Text dataset: https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fmath12k\n- Image-text dataset: https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fgeometry3k\n- Multi-image-text dataset: https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fjourneybench-multi-image-vqa\n- Text-image mixed dataset: https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Frl-mixed-dataset\n\n## How to Understand GRPO in EasyR1\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhiyouga_EasyR1_readme_86f84cc5f81b.png)\n\n- To learn about the GRPO algorithm, you can refer to [Hugging Face's blog](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftrl\u002Fv0.16.1\u002Fen\u002Fgrpo_trainer).\n\n## How to Run 70B+ Model in Multi-node Environment\n\n1. Start the Ray head node.\n\n```bash\nray start --head --port=6379 --dashboard-host=0.0.0.0\n```\n\n2. Start the Ray worker node and connect to the head node.\n\n```bash\nray start --address=\u003Chead_node_ip>:6379\n```\n\n3. Check the Ray resource pool.\n\n```bash\nray status\n```\n\n4. Run training script on the Ray head node only.\n\n```bash\nbash examples\u002Fqwen2_5_vl_7b_geo3k_grpo.sh\n```\n\nSee the **[veRL's official doc](https:\u002F\u002Fverl.readthedocs.io\u002Fen\u002Flatest\u002Fstart\u002Fmultinode.html)** for more details about multi-node training and Ray debugger.\n\n## Other Baselines\n\nWe also reproduced the following two baselines of the [R1-V](https:\u002F\u002Fgithub.com\u002Fdeep-agent\u002FR1-V) project.\n- [CLEVR-70k-Counting](examples\u002Fbaselines\u002Fqwen2_5_vl_3b_clevr.sh): Train the Qwen2.5-VL-3B-Instruct model on counting problem.\n- [GeoQA-8k](examples\u002Fbaselines\u002Fqwen2_5_vl_3b_geoqa8k.sh): Train the Qwen2.5-VL-3B-Instruct model on GeoQA problem.\n\n## Performance Baselines\n\nSee [baselines.md](assets\u002Fbaselines.md).\n\n## Awesome Work using EasyR1\n\n- **MMR1**: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FLengSicong\u002FMMR1)](https:\u002F\u002Fgithub.com\u002FLengSicong\u002FMMR1) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2509.21268-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2509.21268)\n- **Vision-R1**: Incentivizing Reasoning Capability in Multimodal Large Language Models. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FOsilly\u002FVision-R1)](https:\u002F\u002Fgithub.com\u002FOsilly\u002FVision-R1) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2503.06749-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.06749)\n- **Seg-Zero**: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdvlab-research\u002FSeg-Zero)](https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FSeg-Zero) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2503.06520-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.06520)\n- **MetaSpatial**: Reinforcing 3D Spatial Reasoning in VLMs for the Metaverse. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPzySeere\u002FMetaSpatial)](https:\u002F\u002Fgithub.com\u002FPzySeere\u002FMetaSpatial) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2503.18470-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.18470)\n- **Temporal-R1**: Envolving Temporal Reasoning Capability into LMMs via Temporal Consistent Reward. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fappletea233\u002FTemporal-R1)](https:\u002F\u002Fgithub.com\u002Fappletea233\u002FTemporal-R1) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2506.01908-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.01908)\n- **NoisyRollout**: Reinforcing Visual Reasoning with Data Augmentation. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FJohn-AI-Lab\u002FNoisyRollout)](https:\u002F\u002Fgithub.com\u002FJohn-AI-Lab\u002FNoisyRollout) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2504.13055-blue)](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2504.13055)\n- **GUI-R1**: A Generalist R1-Style Vision-Language Action Model For GUI Agents. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fritzz-ai\u002FGUI-R1)](https:\u002F\u002Fgithub.com\u002Fritzz-ai\u002FGUI-R1) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2504.10458-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.10458)\n- **FAST-GRPO**: Fast-Slow Thinking framework that dynamically adapts reasoning depth based on question characteristics. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FMr-Loevan\u002FFAST)](https:\u002F\u002Fgithub.com\u002FMr-Loevan\u002FFAST) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2504.18458-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.18458)\n- **R1-Track**: Direct Application of MLLMs to Visual Object Tracking via Reinforcement Learning. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FWangbiao2\u002FR1-Track)](https:\u002F\u002Fgithub.com\u002FWangbiao2\u002FR1-Track)\n- **VisionReasoner**: Unified Visual Perception and Reasoning via Reinforcement Learning. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdvlab-research\u002FVisionReasoner)](https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FVisionReasoner) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.12081-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.12081)\n- **MM-UPT**: Unsupervised Post-Training for Multi-Modal LLM Reasoning via GRPO. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwaltonfuture\u002FMM-UPT)](https:\u002F\u002Fgithub.com\u002Fwaltonfuture\u002FMM-UPT) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.22453-blue)](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2505.22453)\n- **RL-with-Cold-Start**: Advancing Multimodal Reasoning via Reinforcement Learning with Cold Start. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwaltonfuture\u002FRL-with-Cold-Start)](https:\u002F\u002Fgithub.com\u002Fwaltonfuture\u002FRL-with-Cold-Start) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.22334-blue)](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2505.22334)\n- **ViGoRL**: Grounded Reinforcement Learning for Visual Reasoning. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FGabesarch\u002Fgrounded-rl)](https:\u002F\u002Fgithub.com\u002FGabesarch\u002Fgrounded-rl) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.22334-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.23678)\n- **Revisual-R1**: Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FCSfufu\u002FRevisual-R1)](https:\u002F\u002Fgithub.com\u002FCSfufu\u002FRevisual-R1) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2506.04207-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.04207)\n- **SophiaVL-R1**: Reinforcing MLLMs Reasoning with Thinking Reward. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fkxfan2002\u002FSophiaVL-R1)](https:\u002F\u002Fgithub.com\u002Fkxfan2002\u002FSophiaVL-R1) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.17018-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.17018)\n- **Vision-Matters**: Simple Visual Perturbations Can Boost Multimodal Math Reasoning. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FYutingLi0606\u002FVision-Matters)](https:\u002F\u002Fgithub.com\u002FYutingLi0606\u002FVision-Matters) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2506.09736-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.09736)\n- **VTool-R1**: VLMs Learn to Think with Images via Reinforcement Learning on Multimodal Tool Use. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FVTOOL-R1\u002Fvtool-r1)](https:\u002F\u002Fgithub.com\u002FVTOOL-R1\u002Fvtool-r1) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.19255-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.19255)\n- **Long-RL**: Scaling RL to Long Sequences. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVlabs\u002FLong-RL)](https:\u002F\u002Fgithub.com\u002FNVlabs\u002FLong-RL) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2507.07966-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.07966)\n- **EditGRPO**: Reinforcement Learning with Post-Rollout Edits for Clinically Accurate Chest X-Ray Report Generation. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Ftaokz\u002FEditGRPO)](https:\u002F\u002Fgithub.com\u002Ftaokz\u002FEditGRPO)\n- **ARES**: Multimodal Adaptive Reasoning via Difficulty-Aware Token-Level Entropy Shaping. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fshawn0728\u002FARES)](https:\u002F\u002Fgithub.com\u002Fshawn0728\u002FARES) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2510.08457-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.08457)\n- **VPPO**: Spotlight on Token Perception for Multimodal Reinforcement Learning. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhuaixuheqing\u002FVPPO-RL)](https:\u002F\u002Fgithub.com\u002Fhuaixuheqing\u002FVPPO-RL) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2510.09285-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.09285)\n- **IE-Critic-R1**: Advancing the Explanatory Measurement of Text-Driven Image Editing for Human Perception Alignment. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FCoobiw\u002FIE-Critic-R1)](https:\u002F\u002Fgithub.com\u002FCoobiw\u002FIE-Critic-R1) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2511.18055-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2511.18055)\n- **OneThinker**: All-in-one Reasoning Model for Image and Video. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Ftulerfeng\u002FOneThinker)](https:\u002F\u002Fgithub.com\u002Ftulerfeng\u002FOneThinker) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2512.03043-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.03043)\n- **MetaphorStar**: Image Metaphor Understanding and Reasoning with End-to-End Visual Reinforcement Learning. [![[code]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FMING-ZCH\u002FMetaphorStar)](https:\u002F\u002Fgithub.com\u002FMING-ZCH\u002FMetaphorStar) [![[arxiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2602.10575-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.10575)\n\n## TODO\n\n- Support ulysses parallelism for VLMs (middle priority).\n- Support more VLM architectures.\n\n> [!NOTE]\n> We will not provide scripts for supervised fine-tuning and inference in this project. If you have such requirements, we recommend using [LlamaFactory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLlamaFactory).\n\n### Known bugs\n\nThese features are temporarily disabled for now, we plan to fix them one-by-one in the future updates.\n\n- Vision language models are not compatible with ulysses parallelism yet.\n\n## Discussion Group\n\n👋 Join our [WeChat group](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002Fllamafactory-community\u002Fblob\u002Fmain\u002Fwechat\u002Feasyr1.jpg).\n\n## FAQs\n\n> ValueError: Image features and image tokens do not match: tokens: 8192, features 9800\n\nIncrease the `data.max_prompt_length` or reduce the `data.max_pixels`.\n\n> RuntimeError: CUDA Error: out of memory at \u002Fworkspace\u002Fcsrc\u002Fcumem_allocator.cpp:62\n\nReduce the `worker.rollout.gpu_memory_utilization` and enable `worker.actor.offload.offload_params`.\n\n> RuntimeError: 0 active drivers ([]). There should only be one.\n\nUninstall `deepspeed` from the current python environment.\n\n## Citation\n\nCore contributors: [Yaowei Zheng](https:\u002F\u002Fgithub.com\u002Fhiyouga), [Junting Lu](https:\u002F\u002Fgithub.com\u002FAL-377), [Shenzhi Wang](https:\u002F\u002Fgithub.com\u002FShenzhi-Wang), [Zhangchi Feng](https:\u002F\u002Fgithub.com\u002FBUAADreamer), [Dongdong Kuang](https:\u002F\u002Fgithub.com\u002FKuangdd01), Yuwen Xiong and Richong Zhang\n\nWe also thank Guangming Sheng and Chi Zhang for helpful discussions.\n\n```bibtex\n@misc{zheng2025easyr1,\n  title        = {EasyR1: An Efficient, Scalable, Multi-Modality RL Training Framework},\n  author       = {Yaowei Zheng, Junting Lu, Shenzhi Wang, Zhangchi Feng, Dongdong Kuang, Yuwen Xiong, Richong Zhang},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1}},\n  year         = {2025}\n}\n```\n\nWe recommend to also cite the original work.\n\n```bibtex\n@article{sheng2024hybridflow,\n  title   = {HybridFlow: A Flexible and Efficient RLHF Framework},\n  author  = {Guangming Sheng and Chi Zhang and Zilingfeng Ye and Xibin Wu and Wang Zhang and Ru Zhang and Yanghua Peng and Haibin Lin and Chuan Wu},\n  year    = {2024},\n  journal = {arXiv preprint arXiv: 2409.19256}\n}\n```\n","# EasyR1：高效、可扩展的多模态强化学习训练框架\n\n[![GitHub 仓库星级](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhiyouga\u002FEasyR1)](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fstargazers)\n[![Twitter](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002Fllamafactory_ai)](https:\u002F\u002Ftwitter.com\u002Fllamafactory_ai)\n[![Docker 拉取次数](https:\u002F\u002Fimg.shields.io\u002Fdocker\u002Fpulls\u002Fhiyouga\u002Fverl)](https:\u002F\u002Fhub.docker.com\u002Fr\u002Fhiyouga\u002Fverl\u002Ftags)\n\n### 被 [亚马逊云科技](https:\u002F\u002Faws.amazon.com\u002Fcn\u002Fblogs\u002Fchina\u002Fbuilding-llm-model-hub-based-on-llamafactory-and-easyr1\u002F) 使用\n\n本项目是对原 [veRL](https:\u002F\u002Fgithub.com\u002Fvolcengine\u002Fverl) 项目的干净分叉，以支持视觉语言模型。我们感谢所有作者提供了如此高性能的强化学习训练框架。\n\nEasyR1 因 **[HybirdEngine](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.19256)** 的设计以及最新发布的 **[vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)** 的 SPMD 模式而具备高效性和可扩展性。\n\n## 特性\n\n- 支持的模型\n  - Llama3\u002FQwen2\u002FQwen2.5\u002FQwen3 语言模型\n  - Qwen2-VL\u002FQwen2.5-VL\u002FQwen3-VL 视觉语言模型\n  - DeepSeek-R1 提炼模型\n\n- 支持的算法\n  - GRPO\n  - DAPO ![新](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fnew-orange)\n  - Reinforce++\n  - ReMax\n  - RLOO\n  - GSPO ![新](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fnew-orange)\n  - CISPO ![新](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fnew-orange)\n\n- 支持的数据集\n  - 任何符合 [特定格式](#custom-dataset) 的文本或视觉-文本数据集\n\n- 支持的技巧\n  - 无填充训练\n  - LoRA 训练 ![新](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fnew-orange)\n  - 从最新\u002F最佳检查点恢复\n  - Wandb、SwanLab、Mlflow 和 TensorBoard 追踪\n\n## 需求\n\n### 软件需求\n\n- Python 3.9+\n- transformers>=4.54.0\n- flash-attn>=2.4.3\n- vllm>=0.8.3\n\n我们提供了一个 [Dockerfile](.\u002FDockerfile)，方便构建环境。\n\n我们推荐在 EasyR1 中使用 [预构建的 Docker 镜像](https:\u002F\u002Fhub.docker.com\u002Fr\u002Fhiyouga\u002Fverl)：\n\n```bash\ndocker pull hiyouga\u002Fverl:ngc-th2.8.0-cu12.9-vllm0.11.0\ndocker run -it --ipc=host --gpus=all hiyouga\u002Fverl:ngc-th2.8.0-cu12.9-vllm0.11.0\n```\n\n如果您的环境不支持 Docker，可以考虑使用 **Apptainer**：\n\n```bash\napptainer pull easyr1.sif docker:\u002F\u002Fhiyouga\u002Fverl:ngc-th2.8.0-cu12.9-vllm0.11.0\napptainer shell --nv --cleanenv --bind \u002Fmnt\u002Fyour_dir:\u002Fmnt\u002Fyour_dir easyr1.sif\n```\n\n使用 `USE_MODELSCOPE_HUB=1` 可从 ModelScope 仓库下载模型。\n\n### 硬件需求\n\n\\* *估算*\n\n| 方法                   | 位数 |  1.5B  |   3B   |   7B   |   32B   |   72B   |\n| ------------------------ | ---- | ------ | ------ | ------ | ------- | ------- |\n| GRPO 全量微调    |  AMP | 2*24GB | 4*40GB | 8*40GB | 16*80GB | 32*80GB |\n| GRPO 全量微调    | BF16 | 1*24GB | 1*40GB | 4*40GB |  8*80GB | 16*80GB |\n| GRPO LoRA 微调    |  AMP | 1*12GB | 1*24GB | 2*32GB |  2*80GB |  4*80GB |\n\n> [!NOTE]\n> 使用 `worker.actor.fsdp.torch_dtype=bf16` 和 `worker.actor.optim.strategy=adamw_bf16` 启用 bf16 训练。\n\n## 教程：只需 3 步即可在 [Geometry3K](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fgeometry3k) 数据集上运行 Qwen2.5-VL GRPO\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhiyouga_EasyR1_readme_f7570555e707.png)\n\n### 安装\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1.git\ncd EasyR1\npip install -e .\n```\n\n### GRPO 全量训练\n\n```bash\nbash examples\u002Fqwen2_5_vl_7b_geo3k_grpo.sh\n```\n\n### GRPO LoRA 训练\n\n```bash\nbash examples\u002Fqwen3_vl_4b_geo3k_grpo_lora.sh\n```\n\n### 以 Hugging Face 格式合并检查点\n\n```bash\npython3 scripts\u002Fmodel_merger.py --local_dir checkpoints\u002Feasy_r1\u002Fexp_name\u002Fglobal_step_1\u002Factor\n```\n\n> [!TIP]\n> 如果连接 Hugging Face 时遇到问题，可以尝试使用 `export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com`。\n>\n> 如果想使用 SwanLab 日志记录器，可以尝试使用 `bash examples\u002Fqwen2_5_vl_7b_geo3k_swanlab.sh`。\n\n## 自定义数据集\n\n请参考示例数据集来准备您自己的数据集。\n\n- 文本数据集：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fmath12k\n- 图像-文本数据集：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fgeometry3k\n- 多图像-文本数据集：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fjourneybench-multi-image-vqa\n- 文本-图像混合数据集：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Frl-mixed-dataset\n\n## 如何理解 EasyR1 中的 GRPO\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhiyouga_EasyR1_readme_86f84cc5f81b.png)\n\n- 要了解 GRPO 算法，可以参考 [Hugging Face 博客](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftrl\u002Fv0.16.1\u002Fen\u002Fgrpo_trainer)。\n\n## 如何在多节点环境中运行 70B+ 模型\n\n1. 启动 Ray 主节点。\n\n```bash\nray start --head --port=6379 --dashboard-host=0.0.0.0\n```\n\n2. 启动 Ray 工作节点并连接到主节点。\n\n```bash\nray start --address=\u003Chead_node_ip>:6379\n```\n\n3. 检查 Ray 资源池。\n\n```bash\nray status\n```\n\n4. 仅在 Ray 主节点上运行训练脚本。\n\n```bash\nbash examples\u002Fqwen2_5_vl_7b_geo3k_grpo.sh\n```\n\n有关多节点训练和 Ray 调试器的更多详细信息，请参阅 **[veRL 官方文档](https:\u002F\u002Fverl.readthedocs.io\u002Fen\u002Flatest\u002Fstart\u002Fmultinode.html)**。\n\n## 其他基线\n\n我们还复现了 [R1-V](https:\u002F\u002Fgithub.com\u002Fdeep-agent\u002FR1-V) 项目的以下两个基线：\n- [CLEVR-70k-Counting](examples\u002Fbaselines\u002Fqwen2_5_vl_3b_clevr.sh)：在计数问题上训练 Qwen2.5-VL-3B-Instruct 模型。\n- [GeoQA-8k](examples\u002Fbaselines\u002Fqwen2_5_vl_3b_geoqa8k.sh)：在 GeoQA 问题上训练 Qwen2.5-VL-3B-Instruct 模型。\n\n## 性能基线\n\n请参阅 [baselines.md](assets\u002Fbaselines.md)。\n\n## 使用 EasyR1 的优秀工作\n\n- **MMR1**: 通过方差感知采样和开放资源增强多模态推理。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FLengSicong\u002FMMR1)](https:\u002F\u002Fgithub.com\u002FLengSicong\u002FMMR1) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2509.21268-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2509.21268)\n- **Vision-R1**: 激励多模态大型语言模型的推理能力。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FOsilly\u002FVision-R1)](https:\u002F\u002Fgithub.com\u002FOsilly\u002FVision-R1) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2503.06749-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.06749)\n- **Seg-Zero**: 基于认知强化的推理链引导分割。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdvlab-research\u002FSeg-Zero)](https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FSeg-Zero) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2503.06520-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.06520)\n- **MetaSpatial**: 在元宇宙中强化视觉语言模型的3D空间推理能力。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPzySeere\u002FMetaSpatial)](https:\u002F\u002Fgithub.com\u002FPzySeere\u002FMetaSpatial) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2503.18470-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.18470)\n- **Temporal-R1**: 通过时间一致性奖励将时间推理能力融入多模态大语言模型。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fappletea233\u002FTemporal-R1)](https:\u002F\u002Fgithub.com\u002Fappletea233\u002FTemporal-R1) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2506.01908-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.01908)\n- **NoisyRollout**: 通过数据增强强化视觉推理。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FJohn-AI-Lab\u002FNoisyRollout)](https:\u002F\u002Fgithub.com\u002FJohn-AI-Lab\u002FNoisyRollout) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2504.13055-blue)](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2504.13055)\n- **GUI-R1**: 面向GUI代理的通用R1风格视觉-语言动作模型。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fritzz-ai\u002FGUI-R1)](https:\u002F\u002Fgithub.com\u002Fritzz-ai\u002FGUI-R1) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2504.10458-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.10458)\n- **FAST-GRPO**: 快慢思维框架，可根据问题特征动态调整推理深度。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FMr-Loevan\u002FFAST)](https:\u002F\u002Fgithub.com\u002FMr-Loevan\u002FFAST) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2504.18458-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.18458)\n- **R1-Track**: 通过强化学习将多模态大语言模型直接应用于视觉目标跟踪。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FWangbiao2\u002FR1-Track)](https:\u002F\u002Fgithub.com\u002FWangbiao2\u002FR1-Track)\n- **VisionReasoner**: 通过强化学习实现统一的视觉感知与推理。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fdvlab-research\u002FVisionReasoner)](https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FVisionReasoner) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.12081-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.12081)\n- **MM-UPT**: 通过GRPO对多模态大语言模型推理进行无监督后训练。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwaltonfuture\u002FMM-UPT)](https:\u002F\u002Fgithub.com\u002Fwaltonfuture\u002FMM-UPT) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.22453-blue)](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2505.22453)\n- **RL-with-Cold-Start**: 通过冷启动强化学习推进多模态推理。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fwaltonfuture\u002FRL-with-Cold-Start)](https:\u002F\u002Fgithub.com\u002Fwaltonfuture\u002FRL-with-Cold-Start) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.22334-blue)](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2505.22334)\n- **ViGoRL**: 面向视觉推理的具身强化学习。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FGabesarch\u002Fgrounded-rl)](https:\u002F\u002Fgithub.com\u002FGabesarch\u002Fgrounded-rl) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.22334-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.23678)\n- **Revisual-R1**: 推进多模态推理：从优化的冷启动到分阶段强化学习。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FCSfufu\u002FRevisual-R1)](https:\u002F\u002Fgithub.com\u002FCSfufu\u002FRevisual-R1) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2506.04207-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.04207)\n- **SophiaVL-R1**: 通过思考奖励强化多模态大语言模型的推理能力。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fkxfan2002\u002FSophiaVL-R1)](https:\u002F\u002Fgithub.com\u002Fkxfan2002\u002FSophiaVL-R1) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.17018-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.17018)\n- **Vision-Matters**: 简单的视觉扰动即可提升多模态数学推理能力。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FYutingLi0606\u002FVision-Matters)](https:\u002F\u002Fgithub.com\u002FYutingLi0606\u002FVision-Matters) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2506.09736-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.09736)\n- **VTool-R1**: 视觉语言模型通过多模态工具使用上的强化学习学会用图像思考。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FVTOOL-R1\u002Fvtool-r1)](https:\u002F\u002Fgithub.com\u002FVTOOL-R1\u002Fvtool-r1) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2505.19255-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.19255)\n- **Long-RL**: 将强化学习扩展到长序列。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVlabs\u002FLong-RL)](https:\u002F\u002Fgithub.com\u002FNVlabs\u002FLong-RL) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2507.07966-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.07966)\n- **EditGRPO**: 通过后回放编辑的强化学习实现临床准确的胸部X光报告生成。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Ftaokz\u002FEditGRPO)](https:\u002F\u002Fgithub.com\u002Ftaokz\u002FEditGRPO)\n- **ARES**: 基于难度感知的令牌级熵塑造实现多模态自适应推理。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fshawn0728\u002FARES)](https:\u002F\u002Fgithub.com\u002Fshawn0728\u002FARES) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2510.08457-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.08457)\n- **VPPO**: 多模态强化学习中的令牌感知聚焦。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhuaixuheqing\u002FVPPO-RL)](https:\u002F\u002Fgithub.com\u002Fhuaixuheqing\u002FVPPO-RL) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2510.09285-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.09285)\n- **IE-Critic-R1**: 推进文本驱动图像编辑的解释性度量，以实现与人类感知的一致性。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FCoobiw\u002FIE-Critic-R1)](https:\u002F\u002Fgithub.com\u002FCoobiw\u002FIE-Critic-R1) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2511.18055-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2511.18055)\n- **OneThinker**: 图像和视频的一体化推理模型。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Ftulerfeng\u002FOneThinker)](https:\u002F\u002Fgithub.com\u002Ftulerfeng\u002FOneThinker) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2512.03043-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.03043)\n- **MetaphorStar**: 基于端到端视觉强化学习的图像隐喻理解和推理。[![[代码]](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FMING-ZCH\u002FMetaphorStar)](https:\u002F\u002Fgithub.com\u002FMING-ZCH\u002FMetaphorStar) [![[arXiv]](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv-2602.10575-blue)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.10575)\n\n## 待办事项\n\n- 支持 VLM 的 Ulysses 并行策略（中优先级）。\n- 支持更多 VLM 架构。\n\n> [!注意]\n> 本项目不会提供监督微调和推理的脚本。如果您有此类需求，建议使用 [LlamaFactory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLlamaFactory)。\n\n### 已知问题\n\n这些功能目前暂时禁用，我们计划在未来的更新中逐一修复。\n\n- 视觉语言模型目前尚不兼容 Ulysses 并行策略。\n\n## 讨论群\n\n👋 加入我们的 [微信交流群](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002Fllamafactory-community\u002Fblob\u002Fmain\u002Fwechat\u002Feasyr1.jpg)。\n\n## 常见问题解答\n\n> ValueError: 图像特征与图像标记不匹配：标记数为 8192，特征数为 9800\n\n请增加 `data.max_prompt_length` 或减少 `data.max_pixels`。\n\n> RuntimeError: CUDA 错误：显存不足，位于 \u002Fworkspace\u002Fcsrc\u002Fcumem_allocator.cpp:62\n\n请降低 `worker.rollout.gpu_memory_utilization`，并启用 `worker.actor.offload.offload_params`。\n\n> RuntimeError: 活动驱动程序数量为 0（[]）。应仅有一个。\n\n请从当前 Python 环境中卸载 `deepspeed`。\n\n## 引用\n\n核心贡献者：[Zheng Yaowei](https:\u002F\u002Fgithub.com\u002Fhiyouga)、[Lu Junting](https:\u002F\u002Fgithub.com\u002FAL-377)、[Wang Shenzhi](https:\u002F\u002Fgithub.com\u002FShenzhi-Wang)、[Feng Zhangchi](https:\u002F\u002Fgithub.com\u002FBUAADreamer)、[Kuang Dongdong](https:\u002F\u002Fgithub.com\u002FKuangdd01)，以及 Xiong Yuwen 和 Zhang Richong。\n\n我们还要感谢 Sheng Guangming 和 Zhang Chi 提供的有益讨论。\n\n```bibtex\n@misc{zheng2025easyr1,\n  title        = {EasyR1：高效、可扩展的多模态强化学习训练框架},\n  author       = {Zheng Yaowei, Lu Junting, Wang Shenzhi, Feng Zhangchi, Kuang Dongdong, Xiong Yuwen, Zhang Richong},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1}},\n  year         = {2025}\n}\n```\n\n我们也建议同时引用原始工作：\n\n```bibtex\n@article{sheng2024hybridflow,\n  title   = {HybridFlow：灵活高效的 RLHF 框架},\n  author  = {Sheng Guangming, Zhang Chi, Ye Zilingfeng, Wu Xibin, Zhang Wang, Zhang Ru, Peng Yanghua, Lin Haibin, Wu Chuan},\n  year    = {2024},\n  journal = {arXiv 预印本 arXiv: 2409.19256}\n}\n```","# EasyR1 快速上手指南\n\nEasyR1 是一个高效、可扩展的多模态强化学习（RL）训练框架，基于 veRL 项目改进，专门支持视觉语言模型（VLM）的 RL 训练。它利用 **HybirdEngine** 和 **vLLM** 的 SPMD 模式，实现了高性能的 GRPO、DAPO 等算法训练。\n\n## 环境准备\n\n### 系统要求\n- **Python**: 3.9+\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡（显存需求参考下表）\n- **操作系统**: Linux (推荐)\n\n### 硬件资源估算\n| 方法 | 精度 | 1.5B | 3B | 7B | 32B | 72B |\n| :--- | :--- | :--- | :--- | :--- | :--- | :--- |\n| GRPO 全量微调 | AMP | 2*24GB | 4*40GB | 8*40GB | 16*80GB | 32*80GB |\n| GRPO 全量微调 | BF16 | 1*24GB | 1*40GB | 4*40GB | 8*80GB | 16*80GB |\n| GRPO LoRA 微调 | AMP | 1*12GB | 1*24GB | 2*32GB | 2*80GB | 4*80GB |\n\n> **提示**: 启用 BF16 训练可显著降低显存占用，需在配置中设置 `worker.actor.fsdp.torch_dtype=bf16` 和 `worker.actor.optim.strategy=adamw_bf16`。\n\n### 前置依赖\n核心依赖包括：\n- `transformers>=4.54.0`\n- `flash-attn>=2.4.3`\n- `vllm>=0.8.3`\n\n## 安装步骤\n\n推荐使用官方预构建的 Docker 镜像，以避免复杂的环境配置问题。国内用户若连接 Docker Hub 较慢，可配置镜像加速器。\n\n### 方案一：使用 Docker（推荐）\n\n```bash\n# 拉取预构建镜像\ndocker pull hiyouga\u002Fverl:ngc-th2.8.0-cu12.9-vllm0.11.0\n\n# 启动容器\ndocker run -it --ipc=host --gpus=all hiyouga\u002Fverl:ngc-th2.8.0-cu12.9-vllm0.11.0\n```\n\n*注：若无法使用 Docker，也可使用 Apptainer (Singularity) 或手动安装依赖。*\n\n### 方案二：源码安装\n\n若在现有环境中直接安装，请执行以下命令：\n\n```bash\n# 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1.git\ncd EasyR1\n\n# 安装依赖\npip install -e .\n```\n\n> **加速提示**: 若下载 Hugging Face 模型受阻，请设置环境变量使用镜像源：\n> `export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com`\n>\n> 若需从 ModelScope 下载模型，请设置：\n> `export USE_MODELSCOPE_HUB=1`\n\n## 基本使用\n\n以下以在 **Geometry3K** 数据集上使用 **GRPO** 算法微调 **Qwen2.5-VL-7B** 模型为例。\n\n### 1. 全量微调 (Full Fine-Tuning)\n\n运行官方提供的示例脚本即可开始训练：\n\n```bash\nbash examples\u002Fqwen2_5_vl_7b_geo3k_grpo.sh\n```\n\n### 2. LoRA 微调 (节省显存)\n\n如果显存有限，可以使用 LoRA 进行参数高效微调：\n\n```bash\nbash examples\u002Fqwen3_vl_4b_geo3k_grpo_lora.sh\n```\n\n### 3. 合并检查点\n\n训练完成后，将 LoRA 权重合并到基础模型中，导出为 Hugging Face 格式：\n\n```bash\npython3 scripts\u002Fmodel_merger.py --local_dir checkpoints\u002Feasy_r1\u002Fexp_name\u002Fglobal_step_1\u002Factor\n```\n\n### 自定义数据集\nEasyR1 支持任意格式的文本或图文数据集。您可以参考仓库中的示例数据集格式准备自己的数据：\n- 纯文本：[math12k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fmath12k)\n- 图文对：[geometry3k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fgeometry3k)\n- 多图混合：[journeybench-multi-image-vqa](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhiyouga\u002Fjourneybench-multi-image-vqa)","某自动驾驶初创公司的算法团队正致力于提升车载视觉语言模型在复杂路况下的决策准确率，急需通过强化学习对 Qwen2.5-VL 模型进行微调。\n\n### 没有 EasyR1 时\n- **多模态训练支持缺失**：原有的 veRL 框架主要面向纯文本模型，团队需耗费数周修改底层代码才能勉强支持图像输入，且极易引发兼容性问题。\n- **显存资源严重浪费**：缺乏 HybridEngine 优化和 Padding-free 技术，处理长短不一的图像 - 文本对时需强制填充，导致 7B 模型训练需占用 8 张 40GB 显卡，成本高昂。\n- **算法迭代缓慢**：想尝试最新的 DAPO 或 GSPO 算法以提升收敛速度，但原生框架不支持，自行复现论文算法不仅难度大且稳定性差。\n- **调试监控困难**：缺乏集成的可视化追踪工具，训练过程中的奖励波动和策略变化难以实时捕捉，排查问题如同“盲人摸象”。\n\n### 使用 EasyR1 后\n- **开箱即用的多模态支持**：直接加载 Qwen2.5-VL 模型和 Geometry3K 格式数据集，无需修改核心代码即可启动视觉强化学习训练。\n- **显存效率大幅提升**：借助 Padding-free 训练和 LoRA 微调技术，同等 7B 模型仅需 2 张 32GB 显卡即可运行，硬件门槛降低 75%。\n- **前沿算法一键切换**：配置文件只需修改一行参数，即可在 GRPO、DAPO、GSPO 等多种先进算法间自由切换，快速验证最优策略。\n- **全链路可视监控**：内置 Wandb 和 SwanLab 支持，训练曲线、奖励分布实时呈现，团队能迅速定位策略崩溃点并调整超参。\n\nEasyR1 通过极致的工程优化和算法集成，将多模态强化学习的落地门槛从“专家级”降至“工程师级”，让团队能专注于策略创新而非基建重复造轮子。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhiyouga_EasyR1_f7570555.png","hiyouga","Yaowei Zheng","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fhiyouga_646130a8.jpg","No code All live","Millennium Science School","Beijing, China","hiyouga@buaa.edu.cn","llamafactory_ai",null,"https:\u002F\u002Fgithub.com\u002Fhiyouga",[26,30,34],{"name":27,"color":28,"percentage":29},"Python","#3572A5",99.2,{"name":31,"color":32,"percentage":33},"Dockerfile","#384d54",0.6,{"name":35,"color":36,"percentage":37},"Makefile","#427819",0.2,4861,366,"2026-04-17T22:13:10","Apache-2.0",3,"Linux","必需 NVIDIA GPU。显存需求取决于模型大小和训练方式：1.5B 模型 LoRA 训练需 12GB，72B 模型全量微调需 32*80GB。支持 CUDA 12.9 (基于提供的 Docker 镜像)。","未说明",{"notes":47,"python":48,"dependencies":49},"强烈建议使用提供的 Docker 镜像 (hiyouga\u002Fverl) 或 Apptainer 部署环境以简化配置。支持多节点分布式训练（需安装 Ray）。若使用 BF16 精度训练，需在配置中指定 torch_dtype=bf16 和 optim.strategy=adamw_bf16。国内用户可设置环境变量使用 ModelScope 或 Hugging Face 镜像加速模型下载。","3.9+",[50,51,52],"transformers>=4.54.0","flash-attn>=2.4.3","vllm>=0.8.3",[54,55,56,57],"语言模型","Agent","开发框架","图像",[59,60,61,62,63,64,65,66],"ai","gpt","llm","nlp","reinforcement-learning","rl","deepseek","qwen",2,"ready","2026-03-27T02:49:30.150509","2026-04-18T16:28:14.533412",[72,77,82,87,92,97],{"id":73,"question_zh":74,"answer_zh":75,"source_url":76},40250,"EasyR1 是否支持 LoRA 训练？","是的，LoRA 支持已在相关 PR（#592）中修复并合并。此外，对于 vLLM 后端，可以通过添加 `--enable-tower-connector-lora` 参数来启用 LoRA 连接器支持。","https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fissues\u002F10",{"id":78,"question_zh":79,"answer_zh":80,"source_url":81},40251,"训练过程中出现显存\u002F内存缓慢增长（疑似内存泄漏）怎么办？","该问题已在 PR #73 中修复。如果仍遇到此问题，建议尝试使用 vLLM v1 引擎以保持内存稳定。配置方法参考官方文档：https:\u002F\u002Fverl.readthedocs.io\u002Fen\u002Flatest\u002FREADME_vllm0.7.html#use-vllm-v1-engine。另外，有用户反馈在开启 FSDP 参数卸载（param_offload=True）时更容易观察到内存增长，可尝试关闭该选项测试。","https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fissues\u002F50",{"id":83,"question_zh":84,"answer_zh":85,"source_url":86},40252,"在 A100\u002FH20 显卡上训练时出现 OOM 或进程卡住，但在 H100 上正常，如何解决？","这是一个已知问题，特别是在 H20 和 A100 显卡上训练大模型（如 32B）时容易发生。请参考 Issue #246 中的解决方案（社区已确认解决）。通常涉及调整 DeepSpeed\u002FFSDP 配置或更新特定的依赖版本来解决特定硬件上的兼容性导致的挂起或显存溢出问题。","https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fissues\u002F194",{"id":88,"question_zh":89,"answer_zh":90,"source_url":91},40253,"合并 LoRA 后的 Qwen2.5-VL 模型在推理时报错 'dict' object has no attribute 'to_dict' 怎么办？","这是 transformers 库的兼容性问题。请确保将 `transformers` 库升级到最新版本（至少 4.52.4），该错误在最新提交中已被修复。","https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fissues\u002F326",{"id":93,"question_zh":94,"answer_zh":95,"source_url":96},40254,"训练多模态模型时随机报错 'Image features and image tokens do not match' 是什么原因？","这通常是因为生成阶段产生了额外的图像特定特殊令牌，导致令牌数量与图像特征数量不匹配。这是一个偶发性问题，常见的临时解决方法是中断当前训练并从检查点（checkpoint）恢复继续训练，通常即可恢复正常。也可以尝试增加 `max_prompt_length` 参数来缓解。","https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fissues\u002F110",{"id":98,"question_zh":99,"answer_zh":100,"source_url":101},40255,"使用 vLLM 0.8.2 版本在 A800\u002FA100 上仍然遇到严重的内存泄漏导致 OOM 怎么办？","即使使用了较新的 vLLM 版本，部分用户报告在 A800\u002FA100 上仍有内存泄漏。除了等待官方修复外，可以尝试减小 `rollout batchsize`（虽然部分用户反馈效果有限）。最推荐的方案是切换使用 vLLM v1 引擎（见内存增长问题的解答），或者检查是否开启了 FSDP 的 offload 选项，尝试关闭 `param_offload` 和 `optimizer_offload` 看是否改善。","https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fissues\u002F156",[103,108,113],{"id":104,"version":105,"summary_zh":106,"released_at":107},323702,"v0.3.2","## 变更内容\n\n* [杂项] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F372 中设置开发版本\n* 由 @ning-mz 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F373 中修复 TensorBoard 日志记录器中的拼写错误\n* [工具] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F375 中修复对数概率\n* 由 @robinjoe93 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F376 中支持视频输入\n* [数据] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F386 中修复视频数据\n* [数据] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F387 中添加过滤工作线程\n* [示例] 由 @Saigyouji-Yuyuko1000 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F389 中更新 qwen3_14b_dapo17k_dapo.sh 脚本\n* [杂项] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F391 中修复 CI 流水线\n* [检查点] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F393 中修复删除逻辑\n* [示例] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F394 中更新配置\n* [工作线程] 由 @jasper0314-huang 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F396 中修复 FSDPWorker 中的拼写错误\n* [杂项] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F401 中修复 FLOPs 计数器\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F404 中更新微信二维码\n* [README] 由 @JingchengYang4 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F408 中将我们的工作添加到 README 文件中\n* [示例] 由 @Saigyouji-Yuyuko1000 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F407 中更改 Dapo 验证方式\n* [奖励] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F410 中修复 Dapo 验证器\n* 由 @yukang2017 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F411 中更新 README.md，加入 Long-RL 相关内容\n* [工作线程] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F417 中添加动态批处理功能\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F418 中更新微信二维码\n* [工作线程] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F419 中修复 DP 令牌问题\n* [示例] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F420 中修复配置文件\n* [杂项] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F421 中修复操作相关问题\n* [工作线程] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F422 中修复 FSDP 工作线程\n* [工作线程] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F423 中修复梯度范数问题\n* [数据] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F424 中改进多模态数据的 collate 函数\n* [训练器] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F425 中支持自动恢复功能\n* [工作线程] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F426 中添加动态批处理的计算负载均衡功能\n* [README] 由 @yzoaim 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F434 中更新 Apptainer 的使用说明\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F442 中更新微信二维码\n* [协议] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F445 中将非阻塞设置默认为假\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F447 中更新微信二维码\n* [功能] 由 @yzoaim 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F449 中支持 Ray.timeline 功能\n* [Docker] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F453 中将 vLLM 升级至 0.10 版本\n*","2025-09-18T09:25:17",{"id":109,"version":110,"summary_zh":111,"released_at":112},323703,"v0.3.1","## 变更内容\n* [示例] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F224 中修复运行时环境\n* @RainBowLuoCS 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F240 中更新使用 EasyR1 的优秀作品\n* @xyliugo 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F239 中更新使用 EasyR1 的优秀作品\n* [训练器] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F252 中支持异步奖励\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F253 中添加基线\n* [脚本] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F254 中修复合并脚本\n* [杂项] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F256 中更新基线和 Docker 镜像\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F258 中更新基线\n* [数据] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F270 中支持自定义聊天模板\n* [奖励] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F271 中支持批量奖励\n* [示例] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F272 中更改环境变量\n* [README] @Wangbiao2 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F273 中添加使用 EasyR1 的优秀作品\n* [模型] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F276 中添加对 Qwen3 的支持\n* [示例] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F277 中更新脚本\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F280 中更新微信相关内容\n* [杂项] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F288 中修复日志记录器\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F292 中再次更新微信相关内容\n* @Saigyouji-Yuyuko1000 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F297 中添加从 ModelScope 获取模型的功能\n* [README] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F301 中再次更新微信相关内容\n* @LiuRicky 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F303 中新增基于 EasyR1 的作品\n* @waltonfuture 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F313 中新增基于 EasyR1 的作品\n* [日志记录器] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F316 中修复 TensorBoard 问题\n* @Gabesarch 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F325 中新增基于 EasyR1 的作品\n* [杂项] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F293 中修复控制台卡顿问题\n* [杂项] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F329 中进行多项更新\n* @CSfufu 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F330 中更新 README.md\n* [性能] 由 @tongxiao2002 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F318 中实现工作进程间传递原始图像数据\n* [README] 由 @kxfan2002 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F331 中添加我们使用 EasyR1 的作品\n* @YutingLi0606 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F337 中添加我们使用 EasyR1 的作品\n* [数据] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F339 中修复 Qwen2VL MROPE 的位置 ID，并添加测试\n* [工作进程] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F342 中将智能体模型和参考模型部署在一起\n* [训练器] 由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F343 中保存最佳检查点\n* [训练器] 由 @hiyouga 在 https:\u002F\u002Fgithu","2025-06-19T06:57:52",{"id":114,"version":115,"summary_zh":116,"released_at":117},323704,"v0.3.0","## 变更内容\n* 更新 README 文档，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F4 中完成\n* [README] 更新 README 文档，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F5 中完成\n* [worker] 修复小型模型问题，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F14 中完成\n* 新特性：添加 swanlab 示例，由 @Zeyi-Lin 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F13 中完成\n* [example] 添加 ReMax 支持，由 @Shenzhi-Wang 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F20 中完成\n* 修复：vllm 长度问题，由 @AL-377 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F18 中完成\n* 修复：数学奖励函数问题，由 @yueyang130 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F26 中完成\n* [README] 更新 README 文档，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F29 中完成\n* 修复模板问题，由 @wzq016 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F31 中完成\n* [example] 修复长度问题，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F32 中完成\n* [README] 更新硬件要求，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F33 中完成\n* [worker] 修复模型注意力初始化问题，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F37 中完成\n* 见证计数任务中的顿悟时刻，由 @BUAADreamer 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F38 中完成\n* [example] 修复 clevr 示例，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F47 中完成\n* 修复：为 VLMs 保存处理器，由 @wzq016 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F48 中完成\n* [perf] 支持 VLMs 的无填充训练，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F61 中完成\n* [README] 更新 README 文档，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F62 中完成\n* [README] 添加图示说明，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F64 中完成\n* [README] 更新图示，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F65 中完成\n* [trainer] 支持从检查点恢复训练，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F66 中完成\n* [config] 更新默认配置文件，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F68 中完成\n* [README] 更新微信联系方式，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F71 中完成\n* [env] 修复内存泄漏并启用 vLLM v1，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F73 中完成\n* [README] 更新 README 文档，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F75 中完成\n* [README] 更新 README 文档，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F80 中完成\n* 添加来自 R1V 的新基线 GeoQA8k，由 @chenllliang 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F86 中完成\n* [feat] 支持冻结视觉塔，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F99 中完成\n* [config] 增加提示长度，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F100 中完成\n* 更新 README - 添加 ## 使用 EasyR1 的优秀工作，由 @LengSicong 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F101 中完成\n* 添加使用 EasyR1 的 Vision-R1 项目，由 @Osilly 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F102 中完成\n* 修复：OOM 问题，由 @dirtyDan0 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F111 中完成\n* [trainer] 验证参数，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F112 中完成\n* [misc] 从上游同步功能，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEasyR1\u002Fpull\u002F113 中完成\n* [misc] 清理部分代码，由 @hiyouga 在 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FEas","2025-04-15T11:40:47",[119,128,136,144,154,162],{"id":120,"name":121,"github_repo":122,"description_zh":123,"stars":124,"difficulty_score":42,"last_commit_at":125,"category_tags":126,"status":68},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[55,56,57,127],"数据工具",{"id":129,"name":130,"github_repo":131,"description_zh":132,"stars":133,"difficulty_score":42,"last_commit_at":134,"category_tags":135,"status":68},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[56,57,55],{"id":137,"name":138,"github_repo":139,"description_zh":140,"stars":141,"difficulty_score":67,"last_commit_at":142,"category_tags":143,"status":68},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159636,"2026-04-17T23:33:34",[56,55,54],{"id":145,"name":146,"github_repo":147,"description_zh":148,"stars":149,"difficulty_score":150,"last_commit_at":151,"category_tags":152,"status":68},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[55,153],"插件",{"id":155,"name":156,"github_repo":157,"description_zh":158,"stars":159,"difficulty_score":67,"last_commit_at":160,"category_tags":161,"status":68},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[56,57,55],{"id":163,"name":164,"github_repo":165,"description_zh":166,"stars":167,"difficulty_score":67,"last_commit_at":168,"category_tags":169,"status":68},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[153,55,57,56]]