[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-mst272--LLM-Dojo":3,"tool-mst272--LLM-Dojo":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":73,"owner_location":73,"owner_email":73,"owner_twitter":73,"owner_website":73,"owner_url":76,"languages":77,"stars":86,"forks":87,"last_commit_at":88,"license":73,"difficulty_score":10,"env_os":89,"env_gpu":90,"env_ram":89,"env_deps":91,"category_tags":99,"github_topics":73,"view_count":32,"oss_zip_url":73,"oss_zip_packed_at":73,"status":17,"created_at":100,"updated_at":101,"faqs":102,"releases":131},8038,"mst272\u002FLLM-Dojo","LLM-Dojo","轻量级 LLM Post-training 框架，支持 SFT、RLVR、On-Policy KD、Guide KD 及混合训练；实现单轮\u002F多轮 Guide 蒸馏、多教师蒸馏、Reward 混合训练与自动化数据分流👩‍🎓👨‍🎓","LLM-Dojo 是一个轻量级的大语言模型（LLM）后训练框架，专为高效开展监督微调（SFT）与强化学习实验而设计。它旨在解决现有训练框架过于臃肿、配置复杂的问题，让研究人员和开发者能够以更低的资源消耗快速验证算法想法。\n\n该工具的核心优势在于其高度模块化与灵活性。基于 OpenRLHF 重构的 RLVR 模块精简了冗余组件，专注于强化学习验证，并创新性地支持知识蒸馏（KD）、引导式蒸馏（Guide-KD）与奖励模型的混合训练，还能根据数据源自动路由分流。同时，其 SFT 模块提供了简洁的训练入口，全面支持 DeepSpeed 加速以及 LoRA、QLoRA 等多种微调模式，并能自动适配对话模板，极大降低了上手门槛。\n\nLLM-Dojo 非常适合 AI 研究人员、算法工程师及希望深入探索大模型对齐技术的开发者使用。无论是进行单轮或多轮的知识蒸馏实验，还是尝试多教师协同训练，它都能提供一个干净、高效的“演练场”，帮助用户将精力集中在核心算法的创新与调优上，而非繁琐的工程配置中。","# 🥋 LLM-Dojo\n\n> A lightweight playground for `RLHF` and `SFT` experiments, with support for `RLVR`, `KD`, and `Guide-KD`.\n>\n> 轻量级 RLHF\u002FSFT 实验平台，支持 `RLVR`、`KD` 与 `Guide-KD`。\n\n\n## 📋 Overview\n\n| 模块 | 说明 |\n|------|------|\n| [`openrlhf-kd`](.\u002Fopenrlhf-kd\u002F) | 当前主线，基于 OpenRLHF 重构，实现 `RLVR` + `KD` + `Guide-KD` |\n| [`main_train.py`](.\u002Fmain_train.py) | 简洁 `SFT` 训练入口 |\n\n\n## 🎯 RLVR\n\n[`openrlhf-kd`](.\u002Fopenrlhf-kd\u002F) 是这个仓库当前最核心的部分，基于 OpenRLHF 构建，具体训练使用可参见文档 [`openrlhf-kd\u002Fexamples\u002FREADME.md`](.\u002Fopenrlhf-kd\u002Fexamples\u002FREADME.md)\n\n**主要改动：**\n\n1. 精简框架，只保留 `RLVR` 部分，移除了 `critic` 等不需要的内容\n2. 增加 `KD`、`Guide-KD` 与 `reward` 的混合训练，支持按 `datasource` 路由\n\n\n\n## ✏️ SFT\n\n根目录的 `SFT` 部分保持了比较简洁的训练入口，适合快速微调实验。\n\n**特性：**\n\n- 支持 `Deepspeed`\n- 支持 `LoRA`、`QLoRA`、全参微调\n- 自动适配 chat template\n\n示例文件可参见 `data\u002Fsft_data.jsonl`\n\n**Quick Start：**\n\n```bash\nbash run_example.sh\n```\n\n或：\n\n```bash\ndeepspeed --include localhost:0,1 main_train.py \\\n  --train_data_path \u002Fpath\u002Fto\u002Fdata.jsonl \\\n  --model_name_or_path \u002Fpath\u002Fto\u002Fmodel \\\n  --task_type sft \\\n  --train_mode qlora \\\n  --output_dir \u002Fpath\u002Fto\u002Foutput\n```\n","# 🥋 LLM-Dojo\n\n> 一个轻量级的 `RLHF` 和 `SFT` 实验平台，支持 `RLVR`、`KD` 以及 `Guide-KD`。\n>\n> 轻量级 RLHF\u002FSFT 实验平台，支持 `RLVR`、`KD` 与 `Guide-KD`。\n\n\n## 📋 概览\n\n| 模块 | 说明 |\n|------|------|\n| [`openrlhf-kd`](.\u002Fopenrlhf-kd\u002F) | 当前主线，基于 OpenRLHF 重构，实现 `RLVR` + `KD` + `Guide-KD` |\n| [`main_train.py`](.\u002Fmain_train.py) | 简洁 `SFT` 训练入口 |\n\n\n## 🎯 RLVR\n\n[`openrlhf-kd`](.\u002Fopenrlhf-kd\u002F) 是这个仓库当前最核心的部分，基于 OpenRLHF 构建，具体训练使用可参见文档 [`openrlhf-kd\u002Fexamples\u002FREADME.md`](.\u002Fopenrlhf-kd\u002Fexamples\u002FREADME.md)\n\n**主要改动：**\n\n1. 精简框架，只保留 `RLVR` 部分，移除了 `critic` 等不需要的内容\n2. 增加 `KD`、`Guide-KD` 与 `reward` 的混合训练，支持按 `datasource` 路由\n\n\n\n## ✏️ SFT\n\n根目录的 `SFT` 部分保持了比较简洁的训练入口，适合快速微调实验。\n\n**特性：**\n\n- 支持 `Deepspeed`\n- 支持 `LoRA`、`QLoRA`、全参微调\n- 自动适配 chat template\n\n示例文件可参见 `data\u002Fsft_data.jsonl`\n\n**Quick Start：**\n\n```bash\nbash run_example.sh\n```\n\n或：\n\n```bash\ndeepspeed --include localhost:0,1 main_train.py \\\n  --train_data_path \u002Fpath\u002Fto\u002Fdata.jsonl \\\n  --model_name_or_path \u002Fpath\u002Fto\u002Fmodel \\\n  --task_type sft \\\n  --train_mode qlora \\\n  --output_dir \u002Fpath\u002Fto\u002Foutput\n```","# LLM-Dojo 快速上手指南\n\nLLM-Dojo 是一个轻量级的 RLHF 和 SFT 实验平台，支持 RLVR、知识蒸馏（KD）及 Guide-KD。本指南将帮助你快速搭建环境并运行基础训练任务。\n\n## 1. 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（建议显存 ≥ 16GB 用于全参微调，≥ 8GB 用于 LoRA\u002FQLoRA）\n*   **前置依赖**:\n    *   PyTorch (需匹配你的 CUDA 版本)\n    *   DeepSpeed (用于分布式训练加速)\n    *   Transformers, Accelerate, PEFT\n\n> **国内加速建议**：\n> 安装依赖时，推荐使用清华或阿里镜像源以提升下载速度：\n> ```bash\n> export PIP_INDEX_URL=https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n## 2. 安装步骤\n\n克隆仓库并安装必要的 Python 依赖包。\n\n```bash\n# 克隆项目\ngit clone https:\u002F\u002Fgithub.com\u002Fyour-repo\u002FLLM-Dojo.git\ncd LLM-Dojo\n\n# 安装核心依赖\npip install -r requirements.txt\n\n# 如果需要使用 DeepSpeed 进行分布式训练，请确保已单独安装最新版\npip install deepspeed\n```\n\n*注：若 `requirements.txt` 未包含所有特定组件，请根据实际报错补充安装 `openrlhf` 相关依赖（针对 RLVR 模块）。*\n\n## 3. 基本使用\n\nLLM-Dojo 主要提供两个核心功能入口：**SFT 监督微调** 和 **RLVR 强化学习**。以下是 SFT 的快速启动示例。\n\n### 3.1 准备数据\n确保你拥有格式正确的 JSONL 数据文件。参考项目内的示例数据结构：\n*   示例路径：`data\u002Fsft_data.jsonl`\n*   数据格式应包含 `messages` 字段，自动适配 Chat Template。\n\n### 3.2 运行 SFT 训练\n\n你可以选择使用封装好的脚本或直接通过命令行启动。\n\n**方式一：使用示例脚本（推荐新手）**\n\n```bash\nbash run_example.sh\n```\n\n**方式二：使用 DeepSpeed 命令行启动（自定义参数）**\n\n以下命令演示了如何在单机双卡上使用 QLoRA 模式进行微调：\n\n```bash\ndeepspeed --include localhost:0,1 main_train.py \\\n  --train_data_path \u002Fpath\u002Fto\u002Fdata.jsonl \\\n  --model_name_or_path \u002Fpath\u002Fto\u002Fmodel \\\n  --task_type sft \\\n  --train_mode qlora \\\n  --output_dir \u002Fpath\u002Fto\u002Foutput\n```\n\n**参数说明：**\n*   `--train_data_path`: 你的训练数据路径。\n*   `--model_name_or_path`: 预训练模型路径或 HuggingFace 模型 ID。\n*   `--train_mode`: 支持 `lora`, `qlora`, `full` (全参)。\n*   `--output_dir`: 模型保存路径。\n\n### 3.3 进阶：RLVR 与知识蒸馏\n如需进行 RLVR、KD 或 Guide-KD 实验，请进入 `openrlhf-kd` 目录，具体配置和启动命令请参考该目录下的 [`examples\u002FREADME.md`](.\u002Fopenrlhf-kd\u002Fexamples\u002FREADME.md) 文档。该模块已精简框架，移除了不必要的 Critic 部分，专注于混合训练策略。","某教育科技团队正致力于将通用大模型微调为具备精准解题步骤引导能力的\"AI 数学辅导老师”，需融合高质量解题数据与专家思维链。\n\n### 没有 LLM-Dojo 时\n- **框架臃肿难改**：现有 RLHF 框架包含大量无关的 Critic 模块，代码冗余严重，针对特定教学场景移除无用组件耗时费力。\n- **知识蒸馏单一**：仅支持传统黑盒蒸馏，无法让模型学习教师模型具体的“解题思路引导（Guide）”，导致学生模型只会背答案而不懂推理。\n- **数据利用低效**：不同来源的解题数据（如课本习题 vs 竞赛难题）只能分开训练或简单混合，缺乏自动化分流机制，难以平衡基础与高阶能力。\n- **实验迭代缓慢**：尝试结合强化学习（RLVR）与蒸馏时，需手动拼接多个独立脚本，配置复杂且极易出错，阻碍算法快速验证。\n\n### 使用 LLM-Dojo 后\n- **轻量定制灵活**：基于 OpenRLHF 重构的精简核心直接去除了多余组件，团队可专注于 RLVR 与教学逻辑的结合，环境搭建效率提升 50%。\n- **多维引导蒸馏**：利用独有的 Guide-KD 功能，成功将资深教师的“分步引导策略”蒸馏给学生模型，显著提升了模型解题的逻辑连贯性。\n- **智能数据路由**：通过内置的按数据源（datasource）自动路由机制，实现了基础题用 SFT、难题用 RLVR 的混合训练策略，模型综合得分大幅提高。\n- **一站式混合训练**：在单一框架内即可流畅运行\"SFT+RLVR+ 多教师蒸馏”的复杂流程，原本需要数天的算法联调工作缩短至几小时完成。\n\nLLM-Dojo 通过轻量化架构与先进的混合训练策略，让垂直领域大模型的定制化研发从“繁琐拼凑”转变为“高效集成”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmst272_LLM-Dojo_5f61ca98.png","mst272",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmst272_58f10ca2.jpg","NLP&CV","https:\u002F\u002Fgithub.com\u002Fmst272",[78,82],{"name":79,"color":80,"percentage":81},"Python","#3572A5",99.3,{"name":83,"color":84,"percentage":85},"Shell","#89e051",0.7,934,87,"2026-04-08T02:02:11","未说明","需要 NVIDIA GPU（由 DeepSpeed 和训练场景推断），具体型号和显存大小未说明，CUDA 版本未说明",{"notes":92,"python":89,"dependencies":93},"该工具是基于 OpenRLHF 重构的轻量级平台，核心功能为 RLVR、KD 及 Guide-KD 混合训练。SFT 部分支持 LoRA、QLoRA 及全参微调，并自动适配 chat template。运行需通过 deepspeed 启动，具体硬件需求取决于所选模型大小及训练模式（如 QLoRA 可降低显存需求）。",[94,95,96,97,98],"openrlhf","deepspeed","transformers","torch","peft",[35,14],"2026-03-27T02:49:30.150509","2026-04-16T16:03:28.791237",[103,108,113,118,123,127],{"id":104,"question_zh":105,"answer_zh":106,"source_url":107},35999,"DPO 微调后模型输出完全错误（如回答无关内容），可能是什么原因？","这通常是因为模型训练过度（训蹦了），Loss 已经降为 0。建议尝试调小学习率及减少训练轮数。此外，在强化学习中，On-policy（使用模型自身生成的回答作为拒绝样本）通常比 Off-policy 效果更好，因为强化学习的本质是减少模型不好部分的输出。","https:\u002F\u002Fgithub.com\u002Fmst272\u002FLLM-Dojo\u002Fissues\u002F22",{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},36000,"训练时遇到'参数在 CPU 上'的错误，开启 DeepSpeed 后报错'DeepSpeed Zero-3 is not compatible with device_map'怎么办？","DeepSpeed Zero-3 策略不支持同时使用 `device_map='auto'` 或 `low_cpu_mem_usage=True` 参数。解决方法是：在使用 DeepSpeed Zero-3 时，不要设置 `device_map` 参数，让 DeepSpeed 自动管理设备映射；或者如果不使用 DeepSpeed Zero-3，则可以保留 `device_map` 设置。请检查配置文件，确保没有冲突的参数组合。","https:\u002F\u002Fgithub.com\u002Fmst272\u002FLLM-Dojo\u002Fissues\u002F16",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},36001,"使用 FP16 进行 LoRA 微调时出现'Attempting to unscale FP16 gradients'警告或错误如何解决？","该错误通常是因为模型以 `torch.float16` 加载并在自动混合精度 (AMP) 上下文中使用（如设置 `fp16=True`）。在 AMP 模式下，可训练权重不应直接使用 FP16。解决方法是在代码中加入以下片段：\n\n```python\nfrom peft import cast_mixed_precision_params\n\npeft_model = get_peft_model(...)\ncast_mixed_precision_params(peft_model, dtype=torch.float16)\n\n# 继续正常训练\ntrainer = Trainer(model=peft_model, fp16=True, ...)\ntrainer.train()\n```\n\n或者直接拉取项目的最新代码，该问题已在最新版本中修复。","https:\u002F\u002Fgithub.com\u002Fmst272\u002FLLM-Dojo\u002Fissues\u002F11",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},36002,"运行 DPO 多卡训练时出现'Could not estimate the number of tokens of the input'警告，会影响训练吗？","这是一个常见的警告信息，通常表示加速器无法估算输入 token 数量以计算浮点运算量（FLOPs），但这通常不会影响实际的模型训练过程和收敛效果。只要训练能够正常启动且 Loss 正常下降，可以忽略此警告。如果必须消除，需检查数据加载器配置或输入数据的格式是否符合预期。","https:\u002F\u002Fgithub.com\u002Fmst272\u002FLLM-Dojo\u002Fissues\u002F5",{"id":124,"question_zh":125,"answer_zh":126,"source_url":107},36003,"什么是 On-policy 和 Off-policy，在 DPO 训练中有什么区别？","在 DPO 或强化学习语境下：\n- **On-policy**：指使用当前模型自己生成的回答作为“拒绝”（reject）样本。这种方法通常效果更好，因为强化学习的本质是减少模型当前策略下不好部分的输出。\n- **Off-policy**：指使用非当前模型生成的数据（如人工构造的或其他模型生成的）作为拒绝样本。\n建议在 DPO 训练中优先尝试 On-policy 方式构建数据。",{"id":128,"question_zh":129,"answer_zh":130,"source_url":117},36004,"项目依赖包版本冲突或环境配置导致运行报错怎么办？","请严格按照项目 `requirements.txt` 指定的版本安装依赖。例如本项目推荐的关键版本包括：`accelerate==0.29.3`, `transformers==4.39.3`, `peft==0.11.1`, `bitsandbytes==0.43.1`。建议使用虚拟环境（如 conda）隔离环境，并使用国内镜像源加速安装：\n`pip install -r requirements.txt --index-url https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple`",[]]