OpenAI GPT-OSS 食谱

本集合包含一系列脚本，展示了针对 OpenAI 的 GPT-OSS 模型（200 亿和 1200 亿参数）的不同优化与微调技术。

资源

• 博客 - 欢迎 GPT-OSS：来自 OpenAI 的全新开源模型家族
• Cookbook - 使用 GPT-OSS 和 Hugging Face 进行微调
• OpenAI GPT-OSS 20B 模型
• OpenAI GPT-OSS 120B 模型
• Hugging Face 上的发布合集

脚本

• generate_tp.py - 带张量并行的模型。
• generate_flash_attention.py - 带 Flash Attention + 张量并行的模型。
• generate_tp_continuous_batching.py - 带 Flash Attention + 张量并行及连续批处理的模型。
• generate_all.py - 带所有优化的模型：专家并行、张量并行、Flash Attention。
• sft.py - 用于通过监督微调 (SFT) 微调模型的脚本。支持全参数训练和 LoRA 训练。

模型配置

所有生成脚本均支持 200 亿和 1200 亿参数的模型。要切换模型大小，只需编辑每个脚本顶部的 model_path 变量：

# 模型配置 - 解注释您想要使用的模型大小
model_path = "openai/gpt-oss-120b"  # 1200 亿参数模型（默认）
# model_path = "openai/gpt-oss-20b"  # 200 亿参数模型 - 解注释此行并注释上方一行

脚本会根据所选模型大小自动配置相应的设备映射和设置。

安装

首先使用例如 uv 创建一个虚拟环境：

uv venv gpt-oss --python 3.11 && source gpt-oss/bin/activate && uv pip install --upgrade pip

接下来安装 PyTorch 和 Triton 内核：

uv pip install torch==2.8.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/test/cu128

如果您的硬件支持 MXFP4 量化格式，还可以安装 Triton 内核以获得更优性能：

uv pip install git+https://github.com/triton-lang/triton.git@main#subdirectory=python/triton_kernels

最后安装剩余依赖项：

uv pip install -r requirements.txt

使用

推理

[!重要] 在运行任何脚本之前，请编辑 model_path 变量以选择您所需的模型大小（200 亿或 1200 亿参数）。

运行生成脚本：

python generate_<script_name>.py

或者进行分布式运行：

torchrun --nproc_per_node=x generate_<script_name>.py

训练

在单节点 8 张 GPU 上进行全参数训练时，运行：

# Eager attention
accelerate launch --config_file configs/zero3.yaml sft.py --config configs/sft_full.yaml

# FlashAttention3
accelerate launch --config_file configs/zero3.yaml sft.py --config configs/sft_full.yaml --attn_implementation kernels-community/vllm-flash-attn3

在单张 GPU 上进行 LoRA 训练时，运行：

python sft.py --config configs/sft_lora.yaml

要更改数据集或训练超参数，可以修改 sft_lora.yaml 或 sft_full.yaml 文件，也可以通过命令行参数传递，例如：

accelerate launch --config_file configs/zero3.yaml \
    sft.py --config configs/sft_full.yaml \
    --dataset_name DATASET_NAME

gpt-oss-recipes 快速上手指南

本指南帮助中国开发者快速部署和使用 OpenAI GPT-OSS 模型（20B/120B）的优化推理与微调脚本。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.11
• 硬件要求:
  • NVIDIA GPU (支持 CUDA 12.8)
  • 20B 模型: 建议单卡或多卡运行
  • 120B 模型: 需要多卡分布式环境（支持张量并行/专家并行）
• 前置工具: 推荐使用 uv 进行虚拟环境和依赖管理（也可替换为 venv + pip）。

安装步骤

1. 创建虚拟环境

使用 uv 创建 Python 3.11 环境并激活：

uv venv gpt-oss --python 3.11 && source gpt-oss/bin/activate && uv pip install --upgrade pip

国内加速提示: 如果 uv pip 下载缓慢，可添加国内镜像源参数，例如：--index-url https://pypi.tuna.tsinghua.edu.cn/simple。

2. 安装 PyTorch 和 Triton

安装指定版本的 PyTorch (CUDA 12.8)：

uv pip install torch==2.8.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/test/cu128

(可选) 如果您的硬件支持 MXFP4 量化格式，安装优化的 Triton 内核以提升性能：

uv pip install git+https://github.com/triton-lang/triton.git@main#subdirectory=python/triton_kernels

3. 安装项目依赖

安装其余所需库：

uv pip install -r requirements.txt

基本使用

1. 配置模型版本

所有脚本默认使用 120B 模型。如需切换至 20B 模型，请编辑任意脚本顶部的 model_path 变量：

# Model configuration - uncomment the model size you want to use
# model_path = "openai/gpt-oss-120b"  # 120B model (default)
model_path = "openai/gpt-oss-20b"  # 20B model - uncomment this line and comment the line above

2. 推理 (Inference)

单卡/单机简单推理： 选择以下任一脚本运行（例如使用 Flash Attention 优化版）：

python generate_flash_attention.py

多卡分布式推理： 使用 torchrun 启动（将 x 替换为 GPU 数量）：

torchrun --nproc_per_node=x generate_tp_continuous_batching.py

3. 微调 (Training)

LoRA 微调 (单卡): 最轻量的微调方式，适合资源有限的场景：

python sft.py --config configs/sft_lora.yaml

全参数微调 (8 卡节点): 使用 DeepSpeed Zero3 策略进行全参数训练：

# 使用标准 Attention
accelerate launch --config_file configs/zero3.yaml sft.py --config configs/sft_full.yaml

# 或使用 FlashAttention3 (性能更优)
accelerate launch --config_file configs/zero3.yaml sft.py --config configs/sft_full.yaml --attn_implementation kernels-community/vllm-flash-attn3

自定义数据集: 通过命令行参数直接指定数据集名称：

accelerate launch --config_file configs/zero3.yaml \
    sft.py --config configs/sft_full.yaml \
    --dataset_name DATASET_NAME