多模态理解与生成的统一模型

Chaorui Deng*, Deyao Zhu*, Kunchang Li*, Chenhui Gou*, Feng Li*, Zeyu Wang, Shu Zhong, Weihao Yu, Xiaonan Nie, Ziang Song, Guang Shi :email: , Haoqi Fan* :tophat:

联系方式：shiguang.sg@bytedance.com

我们提出了 BAGEL，一个拥有 70 亿活跃参数（总参数量 140 亿）的开源多模态基础模型，该模型基于大规模交错的多模态数据进行训练。BAGEL 在标准多模态理解排行榜上超越了当前顶尖的开源 VLM，如 Qwen2.5-VL 和 InternVL-2.5，并且其文本到图像生成质量可与 SD3 等强大的专用生成模型相媲美。此外，BAGEL 在经典的图像编辑场景中表现出优于主流开源模型的定性效果。更重要的是，它还扩展到了自由形式的视觉操控、多视角合成以及世界导航等能力，这些能力属于“世界建模”任务范畴，超出了以往图像编辑模型的范围。 下图展示了 BAGEL 的定性性能。

📢 新闻

我们衷心感谢开源社区的所有贡献者提供的宝贵支持。

• 2025年6月15日： 我们更新并修复了 KRIS-Bench 和 RISEBench 的评估结果。我们的模型 BAGEL 在这些推理基准测试中表现出与 Gemini 2.0 相当的性能。 我们还发布了 KRIS-Bench、RISEBench 以及 ImgEdit-Bench 的评估代码。更多详情请参阅 EVAL。
• 2025年6月5日： 感谢 @davideuler 贡献了包含预构建 flash_attn 的 Dockerfile。
• 2025年5月30日： 非常感谢 @prartio 贡献了 Windows 11 安装指南，以及 @gluttony-10 在 量化推理 方面的工作。
• 2025年5月29日： 特别感谢 @jnc-nj 贡献了 Dockerfile。
• 2025年5月26日： 感谢 @neverbiasu 贡献了 ComfyUI。
• 2025年5月25日： 特别感谢 @LeanModels 提供了 DF11 压缩版本，以及 @Gapeleon 提供的 INT8 压缩版本。我们也感谢 @gluttony-10 对 Windows 安装包 的贡献。
• 2025年5月24日： 我们与 @wangwei1237、@gluttony-10 和 @KingNish24 一起构建了一个 Gradio 应用，并在 Hugging Face Space 上发布了 BAGEL。
• 2025年5月23日： 我们在 TRAIN 中提供了训练指南。
• 2025年5月20日： 我们正式发布了 BAGEL 的 官网、演示、模型 和 报告。

📮 公告

征集不良案例： 如果您遇到模型表现不佳的情况，欢迎您在 issue#11 或 Discord 中分享。

关于推理超参数：

• cfg_text_scale： 控制模型对文本提示的遵循程度。1.0 表示禁用文本引导。典型范围为 4.0–8.0。
• cfg_image_scale： 控制模型保留输入图像细节的程度。1.0 表示禁用图像引导。典型范围为 1.0–2.0。
• cfg_interval： 应用 CFG 的去噪步骤比例。后期步骤可以跳过 CFG 以减少计算量。典型值为 [0.4, 1.0]。
• timestep_shift： 调整去噪步骤的分布。较高值会将更多步骤分配到开始阶段（影响布局）；较低值则将更多步骤分配到结束阶段（提升细节）。
• num_timesteps： 总共的去噪步骤数。典型值为 50。
• cfg_renorm_min： CFG-Renorm 的最小值。1.0 表示禁用 renorm。典型值为 0。
• cfg_renorm_type： CFG-Renorm 方法：
  • global：对所有 token 和通道进行归一化（T2I 的默认设置）。
  • channel：对每个 token 的通道进行归一化。
  • text_channel：类似于 channel，但仅应用于文本条件（适合编辑，可能导致模糊）。
• 如果编辑后的图像显得模糊，请尝试使用 global CFG-Renorm，降低 cfg_renorm_min 或减小 cfg_scale。

🔥 快速入门

1️⃣ 环境搭建

git clone https://github.com/bytedance-seed/BAGEL.git
cd BAGEL
conda create -n bagel python=3.10 -y
conda activate bagel
pip install -r requirements.txt
pip install flash_attn==2.5.8 --no-build-isolation

2️⃣ 下载预训练检查点

from huggingface_hub import snapshot_download

save_dir = "models/BAGEL-7B-MoT"
repo_id = "ByteDance-Seed/BAGEL-7B-MoT"
cache_dir = save_dir + "/cache"

snapshot_download(cache_dir=cache_dir,
  local_dir=save_dir,
  repo_id=repo_id,
  local_dir_use_symlinks=False,
  resume_download=True,
  allow_patterns=["*.json", "*.safetensors", "*.bin", "*.py", "*.md", "*.txt"],
)

3️⃣ 使用 Gradio WebUI 开始体验 BAGEL！

# 适用于 32GB 及以上显存的 GPU 或多 GPU。
python app.py

# 适用于 12~32GB 显存的 GPU，建议使用 NF4 量化，并使用中文界面。
python app.py --mode 2 --zh

# 适用于 22~32GB 显存的 GPU，不推荐使用 INT8 量化。
python app.py  --mode 3

🔥 训练与评估

训练

bash scripts/train.sh

您可以在运行前根据自己的需求替换脚本中的变量。更多详情请参阅 TRAIN。

评估

我们提供了用于评估 VLM、T2I 和编辑基准测试的脚本。更多详情请参阅 EVAL。

📊 基准测试

1. 视觉理解

模型	MME	MMBench	MMMU	MM-Vet	MathVista
Janus-Pro-7B	-	79.2	41.0	50.0	–
Qwen2.5-VL-7B	2347	83.5	58.6	67.1	68.2
BAGEL	2388	85.0	55.3	67.2	73.1

2. 文本到图像生成

模型	GenEval	WISE
Janus-Pro-7B	0.80	0.35
SD3-Medium	0.74	-
FLUX-1-dev	0.82	0.50
BAGEL	0.82	0.52
BAGEL + Rewritter/CoT	0.88	0.70

3. 图像编辑

模型	GEdit-Bench-EN (SC)	GEdit-Bench-EN (PQ)	GEdit-Bench-EN (O)	IntelligentBench	KISE-Bench	RISEBench
Step1X-Edit	🥉7.09	🥉6.76	🥈6.70	14.9	43.29	1.9
Gemini 2.0	6.73	6.61	6.32	🥈57.6	🥈62.41	🥈13.3
GPT-4o	🥇7.85	🥇7.62	🥇7.53	🥇78.9	🥇80.09	🥇28.9
BAGEL	🥈7.36	🥈6.83	🥉6.52	44.0	56.21	6.1
BAGEL+CoT	–	–	–	🥉55.3	🥉60.18	🥉11.9

✍️ 引用

@article{deng2025bagel,
  title   = {统一多模态预训练中的涌现特性},
  author  = {邓超睿、朱德尧、李坤昌、苟晨辉、李峰、王泽宇、钟舒、于伟浩、聂晓楠、宋子昂、史广、范浩奇},
  journal = {arXiv 预印本 arXiv:2505.14683},
  year    = {2025}
}

📜 许可证

BAGEL 采用 Apache 2.0 许可证。

Bagel 快速上手指南

Bagel 是由字节跳动开源的统一多模态基础模型（7B 激活参数，总计 14B），具备强大的多模态理解、文生图及图像编辑能力。本指南将帮助开发者快速在本地部署并体验 Bagel。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 Windows 11 (需参考社区贡献的安装指南)
• Python 版本: 3.10
• GPU 显存要求:
  • 完整体验 (32GB+): 支持多卡或单卡 32GB 以上显存，可运行全精度模式。
  • 量化体验 (12GB - 32GB): 推荐使用 NF4 量化模式 (--mode 2) 以在较低显存下运行。
  • 注意: 22-32GB 显存用户不建议使用 INT8 量化模式。
• 依赖项: git, conda, pip

安装步骤

1. 克隆代码库并配置环境

git clone https://github.com/bytedance-seed/BAGEL.git
cd BAGEL

# 创建并激活 conda 环境
conda create -n bagel python=3.10 -y
conda activate bagel

# 安装基础依赖
pip install -r requirements.txt

# 安装 flash_attn (关键依赖，需指定版本)
pip install flash_attn==2.5.8 --no-build-isolation

提示: 如果国内网络下载依赖较慢，建议在 pip install 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源。

2. 下载预训练模型权重

使用提供的 Python 脚本从 Hugging Face 下载模型权重。

from huggingface_hub import snapshot_download

save_dir = "models/BAGEL-7B-MoT"
repo_id = "ByteDance-Seed/BAGEL-7B-MoT"
cache_dir = save_dir + "/cache"

snapshot_download(cache_dir=cache_dir,
  local_dir=save_dir,
  repo_id=repo_id,
  local_dir_use_symlinks=False,
  resume_download=True,
  allow_patterns=["*.json", "*.safetensors", "*.bin", "*.py", "*.md", "*.txt"],
)

注意: 如果无法直接访问 Hugging Face，请确保已配置代理或使用国内镜像加速工具。

基本使用

安装完成后，可以通过启动 Gradio WebUI 来交互式体验 Bagel 的多模态理解、生成和编辑功能。请根据您的显卡显存大小选择合适的启动命令。

场景 A：高性能模式 (32GB+ 显存或多卡)

适用于拥有大显存 GPU 的用户，运行全精度模型。

python app.py

场景 B：量化兼容模式 (12GB ~ 32GB 显存)

推荐方案。使用 NF4 量化技术降低显存占用，同时开启中文界面。

python app.py --mode 2 --zh

场景 C：特定量化模式 (22GB ~ 32GB 显存)

仅建议在特定显存区间尝试，不推荐常规使用 INT8 量化。

python app.py --mode 3

启动成功后，终端将显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器中打开即可开始使用。

进阶参数调整 (可选)

如果在图像编辑过程中发现结果模糊，可在代码或调用时调整以下推理超参数：

• 尝试将 cfg_renorm_type 设置为 global。
• 减小 cfg_renorm_min 或 cfg_scale 的值。
• cfg_text_scale: 控制文本遵循程度 (推荐范围 4.0–8.0)。
• cfg_image_scale: 控制原图细节保留程度 (推荐范围 1.0–2.0)。