NeMo Gym

要求 • 快速入门 • 可用环境 • 文档与资源 • 社区与支持 • 引用

NeMo Gym 是一个用于构建大型语言模型（LLMs）强化学习（RL）训练环境的库。它提供了开发环境、扩展回放缓集收集以及与您首选的训练框架无缝集成的基础架构。

🏆 为什么选择 NeMo Gym？

• 提供脚手架和模式以加速环境开发：多步、多轮对话以及用户建模场景。
• 即使不具备整个强化学习训练循环的专业知识，也能贡献环境。
• 可独立于强化学习训练循环对环境和吞吐量进行端到端测试。
• 与现有环境、系统和强化学习训练框架兼容。
• 不断增长的基于可验证奖励的强化学习（RLVR）训练环境和数据集集合。

[!重要提示] NeMo Gym 目前仍处于早期开发阶段。您可能会遇到 API 的变化、文档不完整以及偶尔的 bug。我们欢迎您的贡献和反馈——如有任何更改，请先提交 issue 以开启讨论！

🔗 生态系统

NeMo Gym 是 NVIDIA NeMo 平台的一部分，NVIDIA NeMo 是一个由 GPU 加速的生成式 AI 模型构建与训练平台。NeMo Gym 已经与越来越多的强化学习训练框架和环境库集成；有关详细信息和教程，请参阅 生态系统 页面。

训练框架： NeMo RL • OpenRLHF • Unsloth • 更多 →

环境库： Reasoning Gym • Aviary • 更多 →

📋 要求

NeMo Gym 设计为可在标准开发机器上运行：

硬件要求	软件要求
GPU：运行 NeMo Gym 库无需 GPU • 具体资源服务器或模型推理可能需要 GPU（请参阅各服务器文档）	操作系统： • Linux（Ubuntu 20.04+ 或等效版本） • macOS（x86_64 架构需 11.0+，Apple Silicon 架构需 12.0+） • Windows（通过 WSL2）
CPU：任何现代 x86_64 或 ARM64 处理器（例如 Intel、AMD、Apple Silicon）	Python：3.12 或更高版本
内存：最低 8 GB（建议 16 GB 以上以应对较大环境）	Git：用于克隆仓库
存储空间：安装及基本使用至少需要 5 GB 可用空间	互联网连接：下载依赖项和访问 API 所需

附加要求

• API 密钥：具有可用额度的 OpenAI API 密钥（用于快速入门示例）
  • 支持其他模型提供商（Azure OpenAI、通过 vLLM 自托管模型）
• Ray：作为依赖项自动安装，无需单独设置。

🚀 快速入门

安装 NeMo Gym，启动服务器，并收集您的第一批用于强化学习训练的已验证回放数据。

设置

# 克隆仓库
git clone git@github.com:NVIDIA-NeMo/Gym.git
cd Gym

# 安装 UV（Python 包管理器）
curl -LsSf https://astral.sh/uv/install.sh | sh
source $HOME/.local/bin/env

# 创建虚拟环境
uv venv --python 3.12
source .venv/bin/activate

# 安装 NeMo Gym
uv sync --extra dev --group docs

配置您的 API 密钥

创建一个 env.yaml 文件，其中包含您的 OpenAI API 密钥以及您想要使用的 策略模型。将 your-openai-api-key 替换为您实际的密钥。此文件有助于将您的密钥信息从版本控制中移除，同时仍使其可供 NeMo Gym 使用。

echo "policy_base_url: https://api.openai.com/v1
policy_api_key: your-openai-api-key
policy_model_name: gpt-4.1-2025-04-14" > env.yaml

[!注释] 在本快速入门中，我们使用 GPT-4.1，因为它延迟较低（无需推理步骤），并且开箱即用即可稳定工作。NeMo Gym 并不限于 OpenAI 模型——您也可以通过 vLLM 使用自托管模型，或使用任何兼容 OpenAI 的推理服务器。有关详细信息，请参阅 文档。

启动服务器

终端 1（启动服务器）：

# 启动服务器（将持续运行）
config_paths="resources_servers/example_single_tool_call/configs/example_single_tool_call.yaml,\
responses_api_models/openai_model/configs/openai_model.yaml"
ng_run "+config_paths=[${config_paths}]"

终端 2（与智能体交互）：

# 在一个新的终端中激活环境
source .venv/bin/activate

# 与您的智能体交互
python responses_api_agents/simple_agent/client.py

收集回放数据

终端 2（保持终端 1 中的服务器运行）：

# 创建一个包含单个查询的简单数据集
echo '{"responses_create_params":{"input":[{"role":"developer","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Seattle?"}]}}' > weather_query.jsonl

# 收集已验证的回放数据
ng_collect_rollouts \
    +agent_name=example_single_tool_call_simple_agent \
    +input_jsonl_fpath=weather_query.jsonl \
    +output_jsonl_fpath=weather_rollouts.jsonl

# 查看结果
cat weather_rollouts.jsonl | python -m json.tool

这将生成带有验证分数的训练数据！

关闭服务器

在运行服务器的 终端 1 中，按下 Ctrl+C 以停止 ng_run 进程。

下一步

现在您已经可以生成回放数据了，请选择以下路径之一：

• 开始训练 — 使用 NeMo Gym 和您喜欢的强化学习框架来训练模型。请参阅 训练教程。
• 使用现有环境 — 浏览下方的 可用环境，找到符合您目标的环境。
• 构建自定义环境 — 实现或集成现有工具，并定义任务验证逻辑。您可以从 创建训练环境 教程开始。

📦 可用环境

NeMo Gym 包含一系列精心挑选的环境，适用于多个领域的训练与评估：

示例环境模式

用途：展示 NeMo Gym 的模式和概念。

名称	展示内容	配置	README
多步	多步工具调用	example_multi_step.yaml	README
会话状态管理	会话状态管理（内存中）	example_session_state_mgmt.yaml	README
单次工具调用	基本的单步工具调用	example_single_tool_call.yaml	README

用于训练与评估的环境

用途：配备精选数据集的可直接用于训练的环境。

每个资源服务器都包含示例数据、配置文件和测试。详情请参阅各服务器的 README 文件。

“数据集”列链接到公开可用的数据集（例如 HuggingFace 上的数据集）。若显示“-”，则表示训练/验证数据尚未公开发布，或由提供的脚本以程序化方式生成。如果目前尚未发布数据，可以生成新数据，或将该环境用作参考。每个服务器在 data/example.jsonl 中包含 5 个示例任务。

资源服务器	域	描述	值	训练	验证	许可证	配置	数据集
Aalcr	其他	-	-	-	-	-	aalcr.yaml	-
Abstention	rlhf	使用LLM裁判在HotPotQA数据集上采用三层奖励机制，训练模型在不确定时选择弃权	通过奖励弃权而非错误答案来提升校准能力	✓	✓	知识共享署名-相同方式共享4.0国际许可	abstention.yaml	-
Arc Agi	知识	解决旨在测试智能的谜题。详情请参见https://arcprize.org/arc-agi。	提升解谜能力。	-	✓	-	arc_agi.yaml	-
Aviary	代理	在HotPotQA数据集上进行多跳问答，结合维基百科搜索	提升知识与代理能力	✓	✓	Apache 2.0	hotpotqa_aviary.yaml	-
Aviary	数学	包含计算器工具的GSM8k基准测试	测试数学与代理能力	✓	✓	Apache 2.0	gsm8k_aviary.yaml	-
Calendar	代理	多轮日历安排数据集。用户以自然语言描述事件和约束条件；模型需安排事件以满足所有约束。	提升多轮指令遵循能力	✓	✓	Apache 2.0	calendar.yaml	Nemotron-RL-agent-calendar_scheduling
Calendar	代理	多轮日历安排数据集。用户以自然语言描述事件和约束条件；模型需安排事件以满足所有约束。	提升多轮指令遵循能力	✓	✓	知识共享署名4.0国际许可	calendar_v2.yaml	Nemotron-RL-Instruction-Following-Calendar-v2
Circle Click	其他	点击图像中的圆圈	提升视觉定位与空间推理能力	-	-	-	circle_click.yaml	-
Circle Count	其他	统计图像中给定颜色的圆圈数量	提升视觉计数与颜色识别能力	-	-	-	circle_count.yaml	-
Code Gen	编程	模型必须提交正确的代码来解决问题	提升竞赛编程能力	✓	✓	Apache 2.0	code_gen.yaml	nemotron-RL-coding-competitive_coding
Competitive Coding Challenges	编程	执行竞技编程竞赛题目	提升竞赛式问题上的编程能力	-	-	-	competitive_coding_challenges.yaml	-
Cvdp	编程	CVDP基准数据集用于代码生成	评估RTL代码生成能力	-	✓	-	cvdp.yaml	-
Equivalence Llm Judge	代理	使用LLM作为裁判的简短Bash命令生成任务	提升基础Bash及IF相关能力	✓	✓	GNU通用公共许可证v3.0	nl2bash-equivalency.yaml	-
Equivalence Llm Judge	知识	使用LLM作为裁判的简答题	提升GPQA/HLE等知识类基准测试	-	-	-	equivalence_llm_judge.yaml	-
Ether0	知识	ether0化学基准验证器	利用ether0基准评估化学知识与推理能力	-	✓	-	ether0.yaml	-
Finance Sec Search	代理	SEC EDGAR文件检索用于财务分析问题	使LLM能够搜索并分析SEC文件	-	-	-	finance_sec_search.yaml	-
Format Verification	指令遵循	通过字符串匹配验证模型输出中的引用标记	提升对引用格式遵循的指令遵循能力	✓	-	Apache 2.0	citation_format.yaml	-
Format Verification	指令遵循	通过正则表达式模式验证自由格式文本（如项目符号、标题、表格等）	提升对文本格式约束的指令遵循能力	✓	-	Apache 2.0	freeform_formatting.yaml	-
Genrm Compare	rlhf	用于RLHF训练的GenRM成对比较	使用GenRM模型比较多个候选响应	-	-	-	genrm_compare.yaml	-
Google Search	代理	集成搜索工具的多项选择问答问题	结合搜索工具提升知识类基准测试	✓	-	Apache 2.0	google_search.yaml	Nemotron-RL-knowledge-web_search-mcqa
Gpqa Diamond	知识	GPQA Diamond多项选择问答题	通过MCQ验证评估研究生级别的科学推理能力	✓	-	MIT	gpqa_diamond.yaml	-
Ifbench	指令遵循	使用AllenAI的IFBench库（57种指令类型）进行指令遵循评估	提升IFBench指令遵循能力	-	-	-	ifbench.yaml	-
Indirect Prompt Injection	安全	多领域工具使用代理的间接提示注入抵抗能力	通过教授对包含恶意指令的工具输出的鲁棒性来提升代理安全性	✓	✓	Apache 2.0	indirect_prompt_injection.yaml	-
Instruction Following	指令遵循	针对IFEval和IFBench风格指令遵循能力的指令遵循数据集	提升IFEval和IFBench表现	✓	-	Apache 2.0	instruction_following.yaml	Nemotron-RL-instruction_following
Jailbreak Detection	安全	使用Nemotron裁判与组合奖励进行越狱检测	提升越狱鲁棒性和安全行为准则的执行	-	-	-	jailbreak_detection_nemotron_combined_reward_tp8.yaml	-
Labbench2 Vlm	知识	labbench2 VLM基准测试：科学图表/QA（figqa2、tableqa2），由LLM担任裁判	衡量VLM在图表和表格上的科学推理能力	-	✓	-	labbench2_vlm.yaml	-
Math Advanced Calculations	代理	具有反直觉计算工具的指令遵循数学环境	提升特定数学环境下的指令遵循能力	✓	-	Apache 2.0	math_advanced_calculations.yaml	Nemotron-RL-math-advanced_calculations
Math Formal Lean	数学	Lean4形式化证明验证环境	提升形式化定理证明能力	✓	-	Apache 2.0	nemotron_clean_easy.yaml	-
Math Formal Lean	数学	Lean4形式化证明验证环境	提升形式化定理证明能力	✓	-	Apache 2.0	nemotron_first_try_hard.yaml	-
Math Formal Lean	数学	Lean4形式化证明验证环境	提升形式化定理证明能力	✓	-	Apache 2.0	nemotron_medium_500.yaml	-
Math Formal Lean	数学	Lean4形式化证明验证环境	提升形式化定理证明能力	✓	-	Apache 2.0	nemotron_very_easy.yaml	-
Math Formal Lean	数学	Lean4形式化证明验证环境	提升形式化定理证明能力	✓	-	MIT	math_formal_lean.yaml	-
Math Formal Lean	数学	Lean4形式化证明验证环境，具备多轮自我修正功能	提升形式化定理证明能力	✓	-	MIT	math_formal_lean_multi_turn.yaml	-
Math With Code	数学	模型使用简单计算器工具解决竞技数学问题	提升数学与简单工具使用能力	✓	-	Apache 2.0	math_with_code.yaml	-
Math With Judge	数学	DAPO17k数学数据集，配有数学验证功能	提升包括AIME 24/25在内的数学能力	✓	✓	Apache 2.0	dapo17k.yaml	-
Math With Judge	数学	MathStackOverflow数学数据集，配有数学验证功能	提升包括AIME 24/25在内的数学能力	✓	✓	知识共享署名-相同方式共享4.0国际许可	math_stack_overflow.yaml	Nemotron-RL-math-stack_overflow
Math With Judge	数学	OpenMathReasoning数学数据集，配有数学验证和LLM作为裁判	提升包括AIME 24/25在内的数学能力	✓	✓	知识共享署名4.0国际许可	math_with_judge.yaml	Nemotron-RL-math-OpenMathReasoning
Mcqa	知识	多项选择问答问题	提升MMLU/GPQA/HLE等基准测试	✓	✓	Apache 2.0	mcqa.yaml	Nemotron-RL-knowledge-mcqa
Multichallenge	知识	针对推理记忆、指令保留、版本编辑和自我连贯性进行测试。	提升复杂的多轮对话能力	✓	-	知识共享署名4.0国际许可	multichallenge_nrl.yaml	Nemotron-RL-Instruction-Following-MultiTurnChat-v1
Newton Bench	数学	通过代理式实验，在12个物理领域中完成科学定律发现任务	提升科学、推理和工具使用能力	✓	-	Apache 2.0	newton_bench.yaml	-
Ns Tools	代理	使用NeMo Skills工具执行，并进行数学验证	-	-	-	-	ns_tools.yaml	-
Nvarc	知识	ARC-AGI归纳模式：模型输出带有transform()的Python代码	通过诱导可执行的转换程序来提升ARC-AGI解谜能力	✓	✓	Apache 2.0	inductive.yaml	-
Nvarc	知识	ARC-AGI演绎模式：模型直接输出网格	通过直接预测变换后的网格来提升ARC-AGI解谜能力	✓	✓	Apache 2.0	transductive.yaml	-
Openenv	代理	通过OpenEnv（MCP）模拟回声环境。根据消息长度给予奖励，将消息原样返回。	-	-	-	-	openenv_echo.yaml	-
Openenv	编程	通过OpenEnv提供的Python代码执行环境。执行代码并返回stdout/stderr。	-	-	-	-	openenv_coding.yaml	-
Openenv	游戏	通过OpenEnv提供的迷宫导航环境。代理人需要在8x8的网格中找到出口。	-	-	-	-	openenv_maze.yaml	-
Over Refusal Detection		-	-	✓	-	待定	over_refusal_detection.yaml	-
Proof Genselect	数学	通过二元正确性奖励进行成对证明选择	-	-	-	-	proof_genselect.yaml	-
Proof Judge	数学	使用验证者+元验证者裁判（联合环境）进行定理证明	-	-	-	-	proof_judge.yaml	-
Proof Verification	数学	根据真实情况和元验证者的一致性对证明进行评分	-	-	-	-	proof_verification.yaml	-
Rdkit Chemistry	知识	分子化学问答：计算SMILES的性质。包括使用工具（Python + rdkit）和不使用工具的问题。	提升分子推理和SMILES解析能力。	✓	-	待定	rdkit_chemistry.yaml	-
Reasoning Gym	知识	LangGraph编排器代理兼容不使用工具的资源服务器；支持多样化的代理训练数据和测试时间缩放，相比简单代理更具扩展性，可进一步集成工具或其他代理架构	通过迭代测试时间缩放提升推理任务性能	✓	-	Apache 2.0	orchestrator_agent.yaml	-
Reasoning Gym	知识	LangGraph并行思维代理兼容不使用工具的资源服务器；支持多样化的代理训练数据和测试时间缩放，相比简单代理更具扩展性，可进一步集成工具或其他代理架构	通过迭代测试时间缩放提升推理任务性能	✓	-	Apache 2.0	parallel_thinking_agent.yaml	-
Reasoning Gym	知识	LangGraph反思代理兼容不使用工具的资源服务器；提供迭代反思，支持多样化的代理训练数据和测试时间缩放，可进一步集成工具或其他代理架构	通过迭代测试时间缩放提升推理任务性能	✓	-	Apache 2.0	reflection_agent.yaml	-
Reasoning Gym	知识	LangGraphReWOO代理兼容不使用工具的资源服务器；支持多样化的代理训练数据和测试时间缩放，相比简单代理更具扩展性，可进一步集成工具或其他代理架构	通过迭代测试时间缩放提升推理任务性能	✓	-	Apache 2.0	rewoo_agent.yaml	-
Reasoning Gym	知识	包含代数、算术、计算、认知、几何、图论、逻辑以及许多常见游戏在内的100多个任务。	提升鲁棒性、泛化能力、广博的知识与推理能力	✓	-	知识共享署名4.0国际许可	reasoning_gym.yaml	Nemotron-RL-ReasoningGym-v1
Ruler	其他	-	-	-	-	-	ruler.yaml	-
Single Step Tool Use With Argument Comparison	代理	来自专家轨迹的会话式工具使用强化学习；按步骤克隆行为，涵盖认证、查找和维修等领域。	-	✓	✓	知识共享署名4.0国际许可	single_step_tool_use_with_argument_comparison.yaml	Nemotron-RL-Agentic-Conversational-Tool-Use-Pivot-v1
Single Step Tool Use With Argument Comparison	代理	通用函数调用强化学习数据集，使用专家轨迹；按步骤克隆行为以匹配专家的工具调用。	-	✓	✓	知识共享署名4.0国际许可	toolcall_schema_single_step_tool_use_with_argument_comparison.yaml	Nemotron-RL-Agentic-Function-Calling-Pivot-v1
Single Step Tool Use With Argument Comparison	代理	面向软件工程代理的GitHub-issue数据集；从SWE-Gym和SWE-Bench-Verified改编而来，适用于NeMo Gym。	-	✓	✓	知识共享署名4.0国际许可	swe_pivot_single_step_tool_use_with_argument_comparison.yaml	Nemotron-RL-Agentic-SWE-Pivot-v1
Single Step Tool Use With Argument Comparison	代理	模型必须在涉及搜索工具的给定轨迹中输出下一个正确的调用。	提升代理式搜索能力。	✓	✓	Apache 2.0	search_pivot_single_step_tool_use_with_argument_comparison.yaml	-
Spider2 Lite	编程	基于执行的评估的Text-to-SQL，使用Spider 2.0-Lite（135个SQLite任务）。根据结果集等价性给予二元奖励。	提升面向实际企业查询的Text-to-SQL能力，采用基于执行的二元奖励，无需LLM裁判。	-	✓	-	spider2_lite.yaml	-
Structeval	指令遵循	StructEval不可渲染格式验证（JSON、YAML、CSV、TOML、XML）	提升结构化输出生成质量	✓	-	Apache 2.0	structeval_nonrenderable.yaml	-
Structured Outputs	指令遵循	检查响应是否遵循提示中的结构化输出要求	提升指令遵循能力	✓	✓	Apache 2.0	structured_outputs_json.yaml	Nemotron-RL-instruction_following-structured_outputs
Structured Outputs	指令遵循	检查响应是否遵循提示中的结构化输出要求	提升指令遵循能力	✓	✓	Apache 2.0	structured_outputs_json_yaml_xml_v1.yaml	-
Structured Outputs	指令遵循	检查响应是否符合结构化输出要求（JSON、YAML、XML、TOML、CSV）。创建于2026年04月09日。	提升对所有结构化输出格式的模式遵循能力	✓	-	Apache 2.0	structured_outputs_v3.yaml	-
Swerl Gen	编程	运行沙盒评估，用于SWE风格的任务（生成补丁或重现测试生成）。	提升SWE能力，有助于SWE-bench等基准测试	✓	✓	Apache 2.0	swerl_gen.yaml	-
Swerl Llm Judge	编程	SWE风格的多项选择LLM裁判任务，通过...选项进行评分。	提升SWE能力，有助于SWE-bench等基准测试	✓	✓	MIT	swerl_llm_judge.yaml	-
Tavily Search	代理	模型使用搜索工具来满足用户查询。	衡量代理式搜索能力	✓	✓	Apache 2.0	tavily_search_judge_vllm_model.yaml	-
Terminal Multi Harness	代理	Agent006 Harness是用于下一步pivot RL的结构化动作验证器。	-	-	-	-	terminal_multi_harness_agent006.yaml	-
Terminal Multi Harness	代理	Codex Harness是用于下一步pivot RL的结构化动作验证器。	-	-	-	-	terminal_multi_harness_codex.yaml	-
Terminal Multi Harness	代理	OpenCode Harness是用于下一步pivot RL的结构化动作验证器。	-	-	-	-	terminal_multi_harness_opencode.yaml	-
Terminus Judge	代理	单步终端任务（rubrics v4裁判提示）	改进终端式任务	✓	✓	Apache 2.0	terminus_judge.yaml	-
Terminus Judge	代理	单步终端任务（简单裁判提示）	改进终端式任务	✓	✓	Apache 2.0	terminus_judge_simple.yaml	-
Terminus Judge	代理	单步终端任务（仅字符串相似度）	改进终端式任务	✓	✓	Apache 2.0	terminus_judge_string_only.yaml	-
Text To Sql	编程	Text-to-SQL生成，由LLM作为裁判进行等价性检查	提升跨多种方言的Text-to-SQL能力	-	-	-	text_to_sql.yaml	-
Vlm Eval Kit	其他	-	衡量VLM能力	-	✓	-	MMBench_DEV_EN_V11.yaml	-
Vlm Eval Kit	其他	-	衡量VLM能力	-	✓	-	OCRBench.yaml	-
Vlm Eval Kit	其他	运行所有支持的VLMEvalKit基准测试。	衡量VLM能力	-	✓	-	vlm_eval_kit.yaml	-
Workplace Assistant	代理	工作场所助手多步工具使用环境	提升多步工具使用能力	✓	✓	Apache 2.0	workplace_assistant.yaml	Nemotron-RL-agent-workplace_assistant
Xlam Fc	代理	Salesforce xlam-function-calling-60k工具调用任务	提升工具调用能力	✓	✓	Apache 2.0	xlam_fc.yaml	-
Xstest	安全	XSTest安全基准——夸张的安全性（过度拒绝）评估	评估模型在助益性与无害性之间的安全校准	-	-	-	xstest.yaml	-

📖 文档与资源

• 文档 - 技术参考文档
• 训练教程 - 使用 NeMo Gym 环境进行训练
• API 参考 - 完整的类和函数参考

🤝 社区与支持

我们非常欢迎您的贡献！以下是参与方式：

• 报告问题 - Bug 报告和功能请求
• 贡献指南 - 如何贡献代码、文档、新环境或训练框架集成

📚 引用

如果您在研究中使用了 NeMo Gym，请使用以下 BibTeX 条目进行引用：

@misc{nemo-gym,
  title = {NeMo Gym：用于扩展 LLM 强化学习环境的开源库},
  howpublished = {\url{https://github.com/NVIDIA-NeMo/Gym}},
  author={NVIDIA},
  year = {2025},
  note = {GitHub 仓库},
}

NeMo Gym 快速上手指南

NeMo Gym 是一个用于构建大语言模型（LLM）强化学习（RL）训练环境的库。它提供了开发环境、扩展数据采集以及与主流训练框架集成的基础设施。

环境准备

在开始之前，请确保您的开发机器满足以下软硬件要求：

硬件要求

• GPU: 运行 NeMo Gym 库本身不需要 GPU。但在连接特定的资源服务器或进行模型推理时可能需要（视具体配置而定）。
• CPU: 任何现代 x86_64 或 ARM64 处理器（如 Intel, AMD, Apple Silicon）。
• 内存: 最低 8 GB（大型环境建议 16 GB+）。
• 存储: 至少 5 GB 可用磁盘空间。

软件要求

• 操作系统:
  • Linux (Ubuntu 20.04+)
  • macOS (Intel 芯片需 11.0+, Apple Silicon 需 12.0+)
  • Windows (需通过 WSL2)
• Python: 3.12 或更高版本。
• Git: 用于克隆代码仓库。
• 网络: 需要互联网连接以下载依赖和访问 API。

前置依赖与密钥

• API Key: 本指南示例使用 OpenAI API，请准备一个有效的 OPENAI_API_KEY。
  • 注：也支持 Azure OpenAI 或通过 vLLM 部署的自托管模型。
• Ray: 安装过程中会自动作为依赖项安装，无需单独配置。

---

安装步骤

推荐使用 uv 作为 Python 包管理器以获得更快的安装速度。

1. 克隆仓库

git clone git@github.com:NVIDIA-NeMo/Gym.git
cd Gym

2. 安装 UV 并创建虚拟环境

# 安装 UV
curl -LsSf https://astral.sh/uv/install.sh | sh
source $HOME/.local/bin/env

# 创建 Python 3.12 虚拟环境
uv venv --python 3.12
source .venv/bin/activate

# 安装 NeMo Gym (包含开发和文档依赖)
uv sync --extra dev --group docs

3. 配置 API 密钥

创建名为 env.yaml 的配置文件，填入您的 API 密钥和希望使用的策略模型。此文件可避免将敏感信息提交到版本控制中。

echo "policy_base_url: https://api.openai.com/v1
policy_api_key: your-openai-api-key
policy_model_name: gpt-4.1-2025-04-14" > env.yaml

注意: 请将 your-openai-api-key 替换为您真实的密钥。示例中使用 gpt-4.1-2025-04-14 是因为其延迟低且开箱即用，您也可以替换为其他兼容 OpenAI 接口的模型地址。

---

基本使用

本部分演示如何启动服务、与代理交互并收集用于 RL 训练的验证数据（Rollouts）。您需要打开两个终端窗口。

第一步：启动资源服务器

在 终端 1 中运行以下命令启动服务器（该进程将保持运行）：

config_paths="resources_servers/example_single_tool_call/configs/example_single_tool_call.yaml,\
responses_api_models/openai_model/configs/openai_model.yaml"
ng_run "+config_paths=[${config_paths}]"

第二步：测试代理交互

在 终端 2 中激活虚拟环境并与代理进行简单交互，确认服务正常：

# 激活环境
source .venv/bin/activate

# 运行简易客户端进行测试
python responses_api_agents/simple_agent/client.py

第三步：收集验证数据 (Rollouts)

保持 终端 1 的服务器运行，在 终端 2 中执行以下操作以生成训练数据：

1. 创建查询文件：

   echo '{"responses_create_params":{"input":[{"role":"developer","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Seattle?"}]}}' > weather_query.jsonl
   

2. 执行收集命令：

   ng_collect_rollouts \
       +agent_name=example_single_tool_call_simple_agent \
       +input_jsonl_fpath=weather_query.jsonl \
       +output_jsonl_fpath=weather_rollouts.jsonl
   

3. 查看结果：

   cat weather_rollouts.jsonl | python -m json.tool
   

   输出将包含带有验证分数的训练数据。

清理

完成测试后，在 终端 1 中按 Ctrl+C 停止 ng_run 进程。

---

下一步

现在您已经成功生成了 Rollouts，可以选择以下路径继续：

• 开始训练: 结合 NeMo RL、OpenRLHF 或 Unsloth 等框架进行模型训练。
• 使用现有环境: 浏览官方提供的多步工具调用、会话状态管理等预设环境。
• 构建自定义环境: 参考文档实现自定义工具集成和任务验证逻辑。