📰 最新消息

• [2024-08-11] 🎉🎉🎉 训练代码和文档 已发布！🎉🎉🎉

• [2024-07-08] 🎉🎉🎉 Lumina-mGPT 正式发布！🎉🎉🎉

⚙️ 安装

详细安装说明请参阅 INSTALL.md。

请注意，Lumina-mGPT 的实现高度依赖于 xllmx 模块，该模块由 LLaMA2-Accessory 发展而来，用于支持以 LLM 为中心的多模态任务。在继续之前，请确保已正确将其作为 Python 包安装。

⛽ 训练

详情请参阅 lumina_mgpt/TRAIN.md。

📽️ 推理

[!注意]

在使用 Lumina-mGPT 模型之前，请先运行：

# bash
cd lumina_mgpt

进入 Lumina-mGPT 的实现目录。

准备工作

由于当前 transformers 中的 Chameleon 实现不包含 VQ-VAE 解码器，因此请手动下载 Meta 提供的原始 VQ-VAE 权重，并将其放置到以下目录中：

Lumina-mGPT
- lumina_mgpt/
    - ckpts/
        - chameleon/
            - tokenizer/
                - text_tokenizer.json
                - vqgan.yaml
                - vqgan.ckpt
- xllmx/
- ...

本地 Gradio 演示

我们准备了三个不同的 Gradio 演示，每个演示都展示了独特的功能，帮助您快速熟悉 Lumina-mGPT 模型的能力。

1. demos/demo_image_generation.py

此演示专为图像生成任务设计，您可以输入一段文本描述并生成相应的图像。要运行此演示，请执行以下命令：

# 注意将 `--target_size` 参数设置为与检查点一致的值
python -u demos/demo_image_generation.py \
--pretrained_path Alpha-VLLM/Lumina-mGPT-7B-768 \
--target_size 768

2. demos/demo_image2image.py

此演示专为经过 Omni-SFT 训练的模型设计，您可以使用此演示方便地切换多个下游任务。

# 注意将 `--target_size` 参数设置为与检查点一致的值
python -u demos/demo_image2image.py \
--pretrained_path Alpha-VLLM/Lumina-mGPT-7B-768-Omni \
--target_size 768

3. demos/demo_freeform.py

这是一个功能强大的演示，对输入格式几乎没有限制。它支持灵活的交互，非常适合深入探索。

# 注意将 `--target_size` 参数设置为与检查点一致的值
python -u demos/demo_freeform.py \
--pretrained_path Alpha-VLLM/Lumina-mGPT-7B-768-Omni \
--target_size 768

简单推理

Lumina-mGPT 推理的最简单代码如下：

from inference_solver import FlexARInferenceSolver
from PIL import Image

# ******************** 图像生成 ********************
inference_solver = FlexARInferenceSolver(
    model_path="Alpha-VLLM/Lumina-mGPT-7B-768",
    precision="bf16",
    target_size=768,
)

q1 = f"根据以下提示生成一张 768x768 的图像：\n"
     f"一只狗在水中玩耍，背景是一座瀑布。"

# generated: 元组，包含生成的响应和生成的图像列表
generated = inference_solver.generate(
    images=[],
    qas=[[q1, None]],
    max_gen_len=8192,
    temperature=1.0,
    logits_processor=inference_solver.create_logits_processor(cfg=4.0, image_top_k=2000),
)

a1, new_image = generated[0], generated[1][0]


# ******************* 图像理解 ******************
inference_solver = FlexARInferenceSolver(
    model_path="Alpha-VLLM/Lumina-mGPT-7B-512",
    precision="bf16",
    target_size=512,
)

# “<|image|>” 符号将在输入 LLM 之前被图像标记序列替换
q1 = "请详细描述这张图片。<|image|>"

images = [Image.open("image.png")]
qas = [[q1, None]]

# `len(images)` 应当等于 qas 中“<|image|>”出现的次数
generated = inference_solver.generate(
    images=images,
    qas=qas,
    max_gen_len=8192,
    temperature=1.0,
    logits_processor=inference_solver.create_logits_processor(cfg=4.0, image_top_k=2000),
)

a1 = generated[0]
# generated[1]，即新生成的图像列表，在这种情况下通常为空。


# ********************* 多功能 *********************
inference_solver = FlexARInferenceSolver(
    model_path="Alpha-VLLM/Lumina-mGPT-7B-768-Omni",
    precision="bf16",
    target_size=768,
)

# 示例：深度估计
# 更多说明请参阅 demos/demo_image2image.py
q1 = "深度估计。<|image|>"
images = [Image.open("image.png")]
qas = [[q1, None]]

generated = inference_solver.generate(
    images=images,
    qas=qas,
    max_gen_len=8192,
    temperature=1.0,
    logits_processor=inference_solver.create_logits_processor(cfg=1.0, image_top_k=200),
)

a1 = generated[0]
new_image = generated[1][0]

🤗 检查点

配置

7B 模型

模型	参数量	Hugging Face
FP-SFT@512	7B	Alpha-VLLM/Lumina-mGPT-7B-512
FP-SFT@768	7B	Alpha-VLLM/Lumina-mGPT-7B-768
Omni-SFT@768	7B	Alpha-VLLM/Lumina-mGPT-7B-768-Omni
FP-SFT@1024	7B	Alpha-VLLM/Lumina-mGPT-7B-1024

34B 模型

模型	参数量	Hugging Face
FP-SFT@512	34B	Alpha-VLLM/Lumina-mGPT-34B-512

更多检查点即将发布。

📑 开源计划

• 推理代码
• 训练代码

🔥 招聘信息

上海人工智能实验室通用视觉组现面向多模态及视觉基础模型方向招聘实习生、博士后及全职研究员。如有意向，请联系 gaopengcuhk@gmail.com。

📄 引用

@misc{liu2024lumina-mgpt,
      title={Lumina-mGPT：通过多模态生成式预训练点亮灵活的逼真文生图},
      author={Dongyang Liu 和 Shitian Zhao 和 Le Zhuo 和 Weifeng Lin 和 Yu Qiao 和 Hongsheng Li 和 Peng Gao},
      year={2024},
      eprint={2408.02657},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2408.02657},
}

Lumina-mGPT 快速上手指南

Lumina-mGPT 是一个多模态自回归模型家族，擅长处理各种视觉和语言任务，尤其在根据文本描述生成灵活的照片级真实图像方面表现卓越。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA GPU (建议显存 24GB+ 以运行 7B 模型，34B 模型需要更多显存或多卡并行)
• 前置依赖:
  • 本项目重度依赖 xllmx 模块（源自 LLaMA2-Accessory），用于支持以 LLM 为中心的多模态任务。
  • 由于 Hugging Face transformers 中的 Chameleon 实现目前不包含 VQ-VAE 解码器，需手动下载权重。

2. 安装步骤

2.1 克隆代码库

git clone https://github.com/Alpha-VLLM/Lumina-mGPT.git
cd Lumina-mGPT

2.2 安装核心依赖

请参照项目根目录下的 INSTALL.md 进行详细安装。通常需要安装 xllmx 作为 Python 包：

# 进入 xllmx 目录并安装 (具体步骤请参考 INSTALL.md)
cd xllmx
pip install -e .
cd ..

2.3 准备预训练权重 (关键步骤)

在使用模型前，必须手动下载 Meta 提供的原始 VQ-VAE 权重，并放置在指定目录结构中。

1. 从 Meta Chameleon GitHub 下载权重。
2. 将文件整理至以下目录结构：

Lumina-mGPT
├── lumina_mgpt/
│   └── ckpts/
│       └── chameleon/
│           └── tokenizer/
│               ├── text_tokenizer.json
│               ├── vqgan.yaml
│               └── vqgan.ckpt
├── xllmx/
└── ...

3. 基本使用

3.1 进入工作目录

在执行任何推理脚本前，请先切换到实现代码目录：

cd lumina_mgpt

3.2 最简单的代码推理示例

以下是最小化的 Python 推理代码，展示了如何加载模型并生成图像。

功能：文生图 (Text-to-Image)

from inference_solver import FlexARInferenceSolver
from PIL import Image

# 初始化推理求解器
# 模型路径可根据需求更换为 Alpha-VLLM/Lumina-mGPT-7B-512 或其他版本
inference_solver = FlexARInferenceSolver(
    model_path="Alpha-VLLM/Lumina-mGPT-7B-768",
    precision="bf16",
    target_size=768,
)

# 构造提示词
q1 = (
    "Generate an image of 768x768 according to the following prompt:\n"
    "Image of a dog playing water, and a waterfall is in the background."
)

# 执行生成
# generated 返回元组：(生成的文本响应, 生成的图像列表)
generated = inference_solver.generate(
    images=[],
    qas=[[q1, None]],
    max_gen_len=8192,
    temperature=1.0,
    logits_processor=inference_solver.create_logits_processor(cfg=4.0, image_top_k=2000),
)

# 获取结果
a1, new_image = generated[0], generated[1][0]
# new_image 即为生成的 PIL Image 对象

3.3 启动本地 Gradio 演示

如果您希望快速体验交互界面，可以运行官方提供的 Demo 脚本。

文生图演示:

python -u demos/demo_image_generation.py \
--pretrained_path Alpha-VLLM/Lumina-mGPT-7B-768 \
--target_size 768

全能型演示 (支持图文理解、深度估计等多任务):

python -u demos/demo_freeform.py \
--pretrained_path Alpha-VLLM/Lumina-mGPT-7B-768-Omni \
--target_size 768

注意: 请确保 --target_size 参数与您下载的模型检查点分辨率一致（如 512, 768, 1024）。

4. 模型检查点

您可以从 Hugging Face 下载不同规格的模型：

模型名称	参数量	分辨率	Hugging Face 地址
Lumina-mGPT-7B-512	7B	512	Alpha-VLLM/Lumina-mGPT-7B-512
Lumina-mGPT-7B-768	7B	768	Alpha-VLLM/Lumina-mGPT-7B-768
Lumina-mGPT-7B-768-Omni	7B	768	Alpha-VLLM/Lumina-mGPT-7B-768-Omni
Lumina-mGPT-34B-512	34B	512	Alpha-VLLM/Lumina-mGPT-34B-512

国内开发者若访问 Hugging Face 受阻，建议使用镜像站（如 hf-mirror.com）或配置代理下载。