NextStep-1：迈向大规模连续标记的自回归图像生成

自回归模型——像阅读句子一样逐步生成内容——在语言领域表现出色，但在图像生成方面却面临挑战。传统上，它们要么依赖于成本高昂的扩散模型，要么通过向量量化（VQ）将图像压缩为有损的离散标记。

NextStep-1则采取了不同的路径：一个拥有140亿参数的自回归模型，直接处理连续的图像标记，从而保留了视觉数据的全部丰富性。它联合建模离散文本标记和连续图像标记的序列——对文本使用标准的语言模型头，而对视觉内容则采用一个轻量级的1.57亿参数流匹配头。这种统一的下一个标记预测框架简单、可扩展，并且能够生成令人惊叹的高细节图像。

🔥 最新消息

• 2026年2月25日：vLLM-Omni支持NextStep-1.1的高性能推理。详情请见这里！

• 2026年2月16日：NextStep-1的训练代码（本仓库）以及NextStep-1.1的后训练博客（链接）已发布。欢迎讨论与贡献。祝大家春节快乐！

• 2026年2月6日：NextStep-1已被ICLR 2026选为口头报告！🎉🎉🎉

• 2025年12月24日：🔥 我们发布了NextStep-1.1，这是一款通过扩展训练和基于流的强化学习（RL）后训练范式显著提升输出质量的文生图模型。欢迎大家使用我们Hugging Face仓库中托管的检查点进行尝试！

  检查点可在以下平台获取：

  • 🤗 Hugging Face：
    • 预训练：NextStep-1.1-Pretrain
    • 后训练：NextStep-1.1
  • 🇨🇳 ModelScope：
    • 预训练：NextStep-1.1-Pretrain
    • 后训练：NextStep-1.1

• 2025年8月18日：👋 我们在HuggingFace Spaces上部署了NextStep-1-Large-Edit，欢迎大家试用！

• 2025年8月18日：👋 我们开通了微信群，欢迎大家加入！

  

• 2025年8月14日：👋 我们发布了NextStep-1-Large-Pretrain、NextStep-1-Large以及NextStep-1-Large-Edit的推理代码和huggingface模型权重。

• 2025年8月14日：👋 我们已将我们的技术报告开源。

---

📑 目录

• 🔥 最新消息
• 📦 安装与环境配置
• 📥 模型与数据准备
  • 2.1 下载模型权重
  • 2.2 下载训练数据集
  • 2.3 处理自定义数据（可选）
• 🚀 训练
  • 3.1 开始训练（通过smartrun）
  • 3.2 覆盖训练参数
  • 3.3 检查并比较配置
• 🔮 推理
  • 4.1 转换检查点格式
  • 4.2 运行推理
• 📚 参考文献
• 📄 许可证
• 📖 引用

---

📦 安装与环境配置

1.1 克隆仓库

git clone https://github.com/stepfun-ai/NextStep-1
cd NextStep-1

1.2 创建Conda环境

conda create -n nextstep python=3.10 -y
conda activate nextstep

1.3 安装依赖

⚠️ 注意：建议根据你的CUDA版本预先安装PyTorch。

pip install uv
uv pip install -e .

☕ 提示：这次安装可能需要一些时间。不妨泡杯咖啡，稍作休息吧！☕

1.4 内置CLI工具

安装完成后，以下CLI工具可用：

• smartrun：一个智能分布式启动器，可自动封装torchrun参数。
• gen_meta：扫描数据集以生成元数据索引（样本数量、校验和等）。
• warmup_data：预热并缓存数据索引，以显著加快训练启动速度。
• eshow：检查或比较实验配置。
• singlegpu_debug / multigpu_debug：专门用于远程调试的入口。

---

📥 模型与数据准备

2.1 下载模型权重

将模型下载到 ./nextstep_models 目录。请相应更新 nextstep/model_zoos.py 中的路径。

bash download_models.sh

☕ 提示: 这个下载可能需要一些时间。不妨泡杯咖啡，稍作休息吧！☕

可用模型

下表列出了所有可用模型及其训练阶段：

模型	预训练 256px	预训练 512px	退火	RL	视觉多样性	微调难易度	Hugging Face
NextStep-1-f8ch16-Tokenizer	❌	❌	❌	❌	-	-
NextStep-1.1-Pretrain-256px	✅	❌	❌	❌	高	易
NextStep-1.1-Pretrain	✅	✅	✅	❌	中	中
NextStep-1.1	✅	✅	✅	✅	低	难
NextStep-1-Large-Pretrain	✅	✅	✅	❌	高	中
NextStep-1-Large	✅	✅	✅	✅	低	难
NextStep-1-Large-Edit	✅	✅	✅	✅	低	难

⚠️ 注意: NextStep-1 系列模型属于旧版本，性能不如 NextStep-1.1 系列，因此不建议使用。请改用 NextStep-1.1 系列模型。

💡 快速推理: 如果您想快速对模型进行推理，请参考下面的推理脚本。

python3 inference/inference.py

2.2 下载训练数据集

将数据集下载到 ./nextstep_data 目录。

bash download_datasets.sh

☕ 提示: 这个下载可能需要一些时间。不妨泡杯咖啡，稍作休息吧！☕

⚠️ 重要提示: download_datasets.sh 中提供的数据集仅为演示用途的开源示例数据集。而 NextStep 的实际训练则使用了来自公司内部专有数据源的约 10亿张图片，这些数据无法公开。为了获得最佳训练效果，我们强烈建议您按照第 2.3 节中的数据处理指南，收集并准备自己的大规模数据集。

2.3 处理自定义数据（可选）

💡 跳过此部分：如果您仅使用第 2.2 节中的默认数据集，则无需执行以下步骤。若要处理自定义数据，请按如下操作：

2.3.1 数据处理

将原始数据转换为统一的 WebDataset (Tar) 格式。

python3 nextstep/data/build_wds.py

数据规范（生成 assets/idx_0000_0000.tar）：

• key.json: 必须包含一个 caption 字段，使用 <image_n> 占位符来定义交错序列。
• key-{i}.png: 图片必须命名为 key-0.png、key-1.png 等，与 JSON 中的占位符一一对应。
• ⚠️ 重要: key 中 不能 包含点号 (.) 或连字符 (-)。您必须使用 build_wds.py 脚本来确保索引正确。请根据您的具体数据源修改脚本中的 load_data 和 create_example 函数。

2.3.2 元数据生成

计算每个 Tar 文件的样本数量，以构建训练索引。

gen_meta /path/to/your/dataset/root_dir

💡 完成后，请将新数据更新到 configs/data/pretrain_data.json 以及 configs/data 目录下的相应 Python 数据配置文件中。

2.3.3 预热索引

建议在大规模训练时使用，以便将索引缓存在本地。

warmup_data /path/to/your/dataset/root_dir --n_jobs 32

2.3.4 数据可视化

预览 Tar 文件或配置中的数据分布和内容。

streamlit run nextstep/service/_preview.py --server.port 8501

2.3.5 W&B 凭证

在根目录下创建一个 .config 文件，用于实验跟踪。API 密钥可在 https://wandb.ai/settings 找到。

WANDB_MODE=online
WANDB_API_KEY=YOUR_WANDB_API_KEY
WANDB_BASE_URL=https://api.wandb.ai

---

🚀 训练

⚠️ 在开始训练之前, 请仔细检查 configs 目录中的配置文件。您可能需要修改配置文件中的模型或输出路径。

3.1 开始训练（通过 smartrun）

选项 1: 使用 NextStep-1.1-Pretrain-256px 模型，进行少量训练步数（约 1 万步）

smartrun -m configs.nextstep_qwen14b_512px

💡 该命令会自动利用所有可用的机器资源。如果您在单台机器上运行此命令，等同于：torchrun --nproc_per_node=8 --nnodes=1 --node_rank=0 -m configs.nextstep_qwen14b_512px

选项 2: 使用 Qwen2.5-14B 模型，进行大量训练步数（约 50 万步）

smartrun -m configs.nextstep_qwen14b_256px

3.2 覆盖训练参数

在训练过程中覆盖特定参数：

smartrun -m configs.nextstep_qwen14b_512px \
  training.max_steps=1000 \
  training.save_steps=200 \
  data.num_workers=2

3.3 检查和比较配置

查看单个配置:

eshow configs/nextstep_qwen14b_512px.py

比较两个配置之间的差异（例如 256px 与 512px）：

eshow configs/nextstep_qwen14b_256px.py configs/nextstep_qwen14b_512px.py

📌 提示: 请根据您的实际情况调整具体的参数、配置文件和数据路径。详细说明请参阅 configs/README.md。

---

🔮 推理

4.1 转换检查点格式

将 DeepSpeed 分片检查点转换为标准的 HuggingFace 格式：

python3 nextstep/deepspeed/zero_to_fp32.py /path/to/your/trained/checkpoint_dir

4.2 运行推理

基础推理:

python3 inference/inference.py --model_name_or_path /path/to/your/trained/checkpoint_dir

使用默认模型快速启动:

python3 inference/inference.py

---

📖 文档

有关特定模块的详细文档，请参阅：

• NextStep 包 - 核心包概述
• 配置系统 - 配置文件与训练设置
• 训练引擎 - 训练与验证实现
• 模型 - 模型架构与实现
• 数据集 - 数据集适配器与混合采样
• 数据处理 - 数据加载、索引及工具函数
• 服务 - 数据预览与可视化服务
• 工具 - 工具函数与辅助程序

---

📚 参考文献

核心框架

• DeepSpeed
• Transformers
• Diffusers

数据集

• Dolma
• BLIP3o
• GPT-Image-Edit
• 多模态教材

---

📄 许可证

NextStep 采用 Apache License 2.0 许可证。您可以在相应的 GitHub 和 HuggingFace 仓库中找到许可证文件。

---

📖 引用

如果您在研究和应用中觉得 NextStep 有用，请考虑给本仓库点个赞，并引用以下内容：

@article{nextstepteam2025nextstep1,
  title={NextStep-1：迈向大规模连续标记的自回归图像生成},
  author={NextStep 团队以及 Chunrui Han、Guopeng Li、Jingwei Wu、Quan Sun、Yan Cai、Yuang Peng、Zheng Ge、Deyu Zhou、Haomiao Tang、Hongyu Zhou、Kenkun Liu、Ailin Huang、Bin Wang、Changxin Miao、Deshan Sun、En Yu、Fukun Yin、Gang Yu、Hao Nie、Haoran Lv、Hanheng Hu、Jia Wang、Jian Zhou、Jianjian Sun、Kaijun Tan、Kang An、Kangheng Lin、Liang Zhao、Mei Chen、Peng Xing、Rui Wang、Shiyu Liu、Shutao Xia、Tianhao You、Wei Ji、Xianfang Zeng、Xin Han、Xuelin Zhang、Yana Wei、Yanming Xu、Yimin Jiang、Yingming Wang、Yu Zhou、Yucheng Han、Ziyang Meng、Binxing Jiao、Daxin Jiang、Xiangyu Zhang、Yibo Zhu},
  journal={arXiv 预印本 arXiv:2508.10711},
  year={2025}
}

NextStep-1 快速上手指南

NextStep-1 是一个 140 亿参数的自回归图像生成模型，它直接使用连续令牌（continuous tokens）处理图像，无需传统的向量量化（VQ），能够联合建模离散文本令牌和连续图像令牌，生成高细节的图像。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA GPU (建议显存充足以运行大模型)
• 依赖管理: 已安装 conda 和 git

注意: 建议根据您的 CUDA 版本预先安装 PyTorch，以获得最佳兼容性。

2. 安装步骤

2.1 克隆仓库

git clone https://github.com/stepfun-ai/NextStep-1
cd NextStep-1

2.2 创建 Conda 环境

conda create -n nextstep python=3.10 -y
conda activate nextstep

2.3 安装依赖

使用 uv 进行快速安装（推荐）：

pip install uv
uv pip install -e .

💡 提示: 首次安装可能需要一些时间，请耐心等待。

3. 基本使用

3.1 下载模型权重

官方提供了多个版本的模型。强烈推荐使用 NextStep-1.1 系列，因为其性能优于旧版 NextStep-1 系列。

执行以下脚本下载模型到 ./nextstep_models 目录：

bash download_models.sh

⚠️ 注意: 下载完成后，请检查 nextstep/model_zoos.py 中的路径配置是否正确。

可用模型推荐：

• NextStep-1.1: 经过强化学习后训练，画质最高，适合最终生成。
• NextStep-1.1-Pretrain: 预训练版本，视觉多样性较高，适合微调。
• (不推荐使用 NextStep-1-Large 等旧版系列)

3.2 快速推理

安装并下载模型后，您可以直接运行官方提供的推理脚本来体验文生图功能：

python3 inference/inference.py

该脚本将加载默认配置并生成示例图像。如需修改提示词或参数，请编辑 inference/inference.py 文件或参考项目完整文档中的高级推理配置。

3.3 (可选) 自定义数据训练

如果您希望使用自己的数据集进行训练，需先将数据转换为 WebDataset (Tar) 格式：

python3 nextstep/data/build_wds.py

• 数据格式要求: JSON 文件中需包含 caption 字段（使用 <image_n> 占位符），图片文件命名为 key-0.png, key-1.png 等。
• 生成元数据:

  gen_meta /path/to/your/dataset/root_dir
  

• 预热索引 (加速训练启动):

  warmup_data /path/to/your/dataset/root_dir --n_jobs 32
  

3.4 启动训练

使用内置的智能启动器 smartrun 开始训练。以下示例启动一个 512px 分辨率的预训练任务：

smartrun -m configs.nextstep_qwen14b_512px

如需覆盖特定参数（如步数、保存频率）：

smartrun -m configs.nextstep_qwen14b_512px \
  training.max_steps=1000 \
  training.save_steps=200