🥋 LLM-Dojo

一个轻量级的 RLHF 和 SFT 实验平台，支持 RLVR、KD 以及 Guide-KD。

轻量级 RLHF/SFT 实验平台，支持 RLVR、KD 与 Guide-KD。

📋 概览

模块	说明
openrlhf-kd	当前主线，基于 OpenRLHF 重构，实现 RLVR + KD + Guide-KD
main_train.py	简洁 SFT 训练入口

🎯 RLVR

openrlhf-kd 是这个仓库当前最核心的部分，基于 OpenRLHF 构建，具体训练使用可参见文档 openrlhf-kd/examples/README.md

主要改动：

1. 精简框架，只保留 RLVR 部分，移除了 critic 等不需要的内容
2. 增加 KD、Guide-KD 与 reward 的混合训练，支持按 datasource 路由

✏️ SFT

根目录的 SFT 部分保持了比较简洁的训练入口，适合快速微调实验。

特性：

• 支持 Deepspeed
• 支持 LoRA、QLoRA、全参微调
• 自动适配 chat template

示例文件可参见 data/sft_data.jsonl

Quick Start：

bash run_example.sh

或：

deepspeed --include localhost:0,1 main_train.py \
  --train_data_path /path/to/data.jsonl \
  --model_name_or_path /path/to/model \
  --task_type sft \
  --train_mode qlora \
  --output_dir /path/to/output

LLM-Dojo 快速上手指南

LLM-Dojo 是一个轻量级的 RLHF 和 SFT 实验平台，支持 RLVR、知识蒸馏（KD）及 Guide-KD。本指南将帮助你快速搭建环境并运行基础训练任务。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 ≥ 16GB 用于全参微调，≥ 8GB 用于 LoRA/QLoRA）
• 前置依赖:
  • PyTorch (需匹配你的 CUDA 版本)
  • DeepSpeed (用于分布式训练加速)
  • Transformers, Accelerate, PEFT

国内加速建议： 安装依赖时，推荐使用清华或阿里镜像源以提升下载速度：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

克隆仓库并安装必要的 Python 依赖包。

# 克隆项目
git clone https://github.com/your-repo/LLM-Dojo.git
cd LLM-Dojo

# 安装核心依赖
pip install -r requirements.txt

# 如果需要使用 DeepSpeed 进行分布式训练，请确保已单独安装最新版
pip install deepspeed

注：若 requirements.txt 未包含所有特定组件，请根据实际报错补充安装 openrlhf 相关依赖（针对 RLVR 模块）。

3. 基本使用

LLM-Dojo 主要提供两个核心功能入口：SFT 监督微调 和 RLVR 强化学习。以下是 SFT 的快速启动示例。

3.1 准备数据

确保你拥有格式正确的 JSONL 数据文件。参考项目内的示例数据结构：

• 示例路径：data/sft_data.jsonl
• 数据格式应包含 messages 字段，自动适配 Chat Template。

3.2 运行 SFT 训练

你可以选择使用封装好的脚本或直接通过命令行启动。

方式一：使用示例脚本（推荐新手）

bash run_example.sh

方式二：使用 DeepSpeed 命令行启动（自定义参数）

以下命令演示了如何在单机双卡上使用 QLoRA 模式进行微调：

deepspeed --include localhost:0,1 main_train.py \
  --train_data_path /path/to/data.jsonl \
  --model_name_or_path /path/to/model \
  --task_type sft \
  --train_mode qlora \
  --output_dir /path/to/output

参数说明：

• --train_data_path: 你的训练数据路径。
• --model_name_or_path: 预训练模型路径或 HuggingFace 模型 ID。
• --train_mode: 支持 lora, qlora, full (全参)。
• --output_dir: 模型保存路径。

3.3 进阶：RLVR 与知识蒸馏

如需进行 RLVR、KD 或 Guide-KD 实验，请进入 openrlhf-kd 目录，具体配置和启动命令请参考该目录下的 examples/README.md 文档。该模块已精简框架，移除了不必要的 Critic 部分，专注于混合训练策略。