👋 大家好！
我们是字节跳动Seed团队。

	Seed-OSS-36B
参数量	360亿
注意力机制	GQA
激活函数	SwiGLU
层数	64
QKV头数	80 / 8 / 8
头尺寸	128
隐藏层维度	5120
词汇表大小	15.5万
上下文长度	512K
RoPE基础频率	1e7

基准	Seed1.6-Base	Qwen3-30B-A3B-Base-2507*	Qwen2.5-32B-Base*	Seed-OSS-36B-Base (w/ syn.)	Seed-OSS-36B-Base-woSyn (w/o syn.)
知识
MMLU-Pro	70	59.8	58.5 (55.1)	65.1	60.4
MMLU	88.8	82.7	84 (83.3)	84.9	84.8
TriviaQA	91	76.2	76	82.1	81.9
GPQA-D	43.4	37	29.3	31.7	35.2
SimpleQA	17.1	7.2	6.1	5.8	7.4
推理
BBH	92.1	81.4	79.1 (84.5)	87.7	87.2
AGIEval-en	78	66.4	65.6	70.7	70.1	数学
GSM8K	93.1	87	87.5 (92.9)	90.8	90.3
MATH	72.9	61.1	63.5 (57.7)	81.7	61.3	编程
MBPP	83.6	78.8	77.8 (84.5)	80.6	74.6	HumanEval	78	70.7	47.6 (58.5)	76.8	75.6

- 加粗表示开源领域的SOTA水平。
^{- "*"表示该列结果以“复现结果（如有报告则为报告结果）”的形式呈现。}

Seed-OSS-36B-Instruct

<sup>- 粗体表示开源SOTA模型。下划线表示开源模型中的第二名。
- "*"表示该列结果以“复现结果（如有报告结果则为报告结果）”的形式呈现。由于评估运行失败，部分结果已被省略。
- Gemma3-27B的结果直接来源于其技术报告。
- ArcAGI-V2的结果是在官方评估集上测量的，该评估集未参与训练过程。
- Seed-OSS-36B-Instruct的生成配置：temperature=1.1, top_p=0.95。特别地，对于Taubench，temperature=1, top_p=0.7。</sup>

[!NOTE] 我们建议使用temperature=1.1和top_p=0.95进行采样。

思考预算

用户可以灵活指定模型的思考预算。下图展示了在不同任务中，随着思考预算的变化，模型性能曲线的变化情况。对于较简单的任务（如IFEval），模型的思维链（CoT）较短，分数会随着思考预算的增加而出现波动。而对于更具挑战性的任务（如AIME和LiveCodeBench），模型的思维链较长，分数会随着思考预算的增加而提升。

以下是一个将思考预算设置为512的例子：在推理过程中，模型会定期触发自我反思，以估算已消耗和剩余的预算，并在预算耗尽或推理结束时给出最终答案。

<seed:think>
明白了，让我们一步步来解决这个问题。题目说…………
<seed:cot_budget_reflect>我已经使用了129个token，还剩下383个token可用。</seed:cot_budget_reflect>
根据幂法则，…………
<seed:cot_budget_reflect>我已经使用了258个token，还剩下254个token可用。</seed:cot_budget_reflect>
或者，记住…………
<seed:cot_budget_reflect>我已经使用了393个token，还剩下119个token可用。</seed:cot_budget_reflect>
因为如果…………
<seed:cot_budget_reflect>我的token预算已经用完了，现在我将开始回答问题。</seed:cot_budget_reflect>
</seed:think>
要解决这个问题，我们首先利用对数的性质简化给定的方程：（完整答案省略）。

如果没有设置思考预算（默认模式），Seed-OSS将以无限长度开始思考。如果指定了思考预算，建议用户优先选择512的整数倍数值（如512、1K、2K、4K、8K或16K），因为模型已在这些区间上进行了大量训练。当思考预算为0时，模型会被指示直接输出答案，我们建议将任何低于512的预算设置为该值。

快速入门

pip install transformers>=4.56.1

from transformers import AutoModelForCausalLM, AutoTokenizer
import os
import re

model_name_or_path = "ByteDance-Seed/Seed-OSS-36B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map="auto")  # 您可能希望在此处使用bfloat16并/或迁移到GPU
messages = [
    {"role": "user", "content": "如何做意大利面？"},
]
tokenized_chat = tokenizer.apply_chat_template(
  messages, 
  tokenize=True, 
  add_generation_prompt=True, 
  return_tensors="pt", 
  thinking_budget=512 # 控制思考预算
)

outputs = model.generate(tokenized_chat.to(model.device), max_new_tokens=2048)

output_text = tokenizer.decode(outputs[0])

推理

下载模型

将Seed-OSS检查点下载到./Seed-OSS-36B-Instruct

Transformers

generate.py脚本提供了一个简单的接口，用于进行可配置选项的模型推理。

基本用法

cd inference
python3 generate.py --model_path /path/to/model

关键参数

参数	描述
--model_path	预训练模型目录的路径（必需）
--prompts	输入提示（默认：示例烹饪/代码问题）
--max_new_tokens	最大生成token数（默认：4096）
--attn_implementation	注意力机制：flash_attention_2（默认）或eager
--load_in_4bit/8bit	启用4位/8位量化（减少内存使用）
--thinking_budget	思考预算，单位为token（默认：-1，表示无限制预算）

量化示例

# 8位量化
python3 generate.py --model_path /path/to/model --load_in_8bit True

# 4位量化
python3 generate.py --model_path /path/to/model --load_in_4bit True

自定义提示

python3 generate.py --model_path /path/to/model --prompts "['什么是机器学习？', '解释量子计算']"

vLLM

使用vllm >= 0.10.2或更高版本进行推理。

• 首先安装支持Seed-OSS版本的vLLM：

pip install vllm>=0.10.2

• 启动vLLM API服务器：

python3 -m vllm.entrypoints.openai.api_server \
    --host localhost \
    --port 4321 \
    --enable-auto-tool-choice \
    --tool-call-parser seed_oss \
    --trust-remote-code \
    --model ./Seed-OSS-36B-Instruct \
    --chat-template ./Seed-OSS-36B-Instruct/chat_template.jinja \
    --tensor-parallel-size 8 \
    --dtype bfloat16 \
    --served-model-name seed_oss

• 使用OpenAI客户端进行测试：

聊天

# 不流式
python3 inference/vllm_chat.py --max_new_tokens 4096 --thinking_budget -1
# 流式
python3 inference/vllm_chat.py --max_new_tokens 4096 --thinking_budget -1 --stream

工具调用

# 不流式
python3 inference/vllm_tool_call.py --max_new_tokens 4096 --thinking_budget -1
# 流式
python3 inference/vllm_tool_call.py --max_new_tokens 4096 --thinking_budget -1 --stream

模型卡片

请参阅MODEL_CARD。

许可证

本项目采用Apache-2.0许可证。详细信息请参阅LICENSE文件。

引用

@misc{seed2025seed-oss,
  author={字节跳动Seed团队},
  title={Seed-OSS开源模型},
  year={2025},
  howpublished={\url{https://github.com/ByteDance-Seed/seed-oss}}
}

关于字节跳动Seed团队

成立于2023年，字节跳动Seed团队致力于打造业界最先进的AI基础模型。团队立志成为世界一流的研究团队，为科学和社会的进步做出重大贡献。

python -m venv seed-oss-env
source seed-oss-env/bin/activate  # Windows 用户使用: seed-oss-env\Scripts\activate

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate sentencepiece protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple

# 设置 HF 镜像加速（可选，国内用户推荐）
export HF_ENDPOINT=https://hf-mirror.com

# 下载 Seed-OSS-36B-Instruct 模型
huggingface-cli download ByteDance-Seed/Seed-OSS-36B-Instruct --local-dir ./models/seed-oss-36b-instruct

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 配置模型路径
model_path = "./models/seed-oss-36b-instruct" 
# 如果已配置网络直连，也可直接使用："ByteDance-Seed/Seed-OSS-36B-Instruct"

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 加载模型
# device_map="auto" 会自动将模型分配到可用的 GPU 上
# torch_dtype=torch.bfloat16 建议使用 bf16 以获得最佳精度和性能平衡
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 准备输入提示词 (Prompt)
# Seed-OSS 针对国际场景优化，建议使用英文或高质量翻译后的中文提示词以获得最佳效果
prompt = "Explain the concept of quantum entanglement in simple terms."

messages = [
    {"role": "user", "content": prompt}
]

# 应用聊天模板
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer.encode(text, return_tensors="pt").to(model.device)

# 生成回复
# max_new_tokens: 控制最大生成长度
# do_sample: 开启采样以增加多样性
outputs = model.generate(
    inputs,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

# 解码并输出结果
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

# 示例：构造一个长文本输入
long_context = "..." * 100000  # 替换为实际的长文本数据
messages = [{"role": "user", "content": f"Summarize the following text:\n{long_context}"}]
# 后续处理同上...