OmniGen：统一的图像生成

新闻 | 方法论 | 功能特性 | 快速入门 | 许可证 | https://github.com/VectorSpaceLab/OmniGen2发布。欢迎使用并提供反馈。

2025年2月12日：🔥🔥OmniGen现已在Diffusers中可用。

2024年12月14日：🚀️🚀开源X2I数据集

2024年11月3日：新增Replicate演示和API：

2024年10月28日：我们发布了推理代码的新版本，优化了内存占用和运行时间。详细信息请参阅docs/inference.md。

2024年10月22日：我们发布了OmniGen的代码。推理：docs/inference.md 训练：docs/fine-tuning.md

2024年10月22日：我们发布了OmniGen的第一个版本。模型权重：Shitao/OmniGen-v1 HF演示：🤗

2024年9月17日：⚡️⚡️我们发布了第一份OmniGen报告：ArXiv

2. 概述

OmniGen是一个统一的图像生成模型，能够根据多模态提示生成各种类型的图像。它设计简单、灵活且易于使用。我们提供了推理代码，以便大家探索OmniGen的更多功能。

现有的图像生成模型通常需要加载多个额外的网络模块（如ControlNet、IP-Adapter、Reference-Net等），并进行额外的预处理步骤（例如人脸检测、姿态估计、裁剪等）才能生成令人满意的图像。然而，我们认为未来的图像生成范式应该更加简单和灵活，即无需额外插件和操作，直接通过任意多模态指令生成各种图像，就像GPT在语言生成中的工作方式一样。

由于资源有限，OmniGen仍有改进空间。我们将继续优化它，并希望它能启发更多通用的图像生成模型。您也可以轻松地对OmniGen进行微调，而无需为特定任务设计网络；只需准备好相应数据，然后运行脚本即可。想象力不再受限；每个人都可以构建任何图像生成任务，或许我们可以实现非常有趣、精彩和富有创意的事情。

如果您有任何问题、想法，或希望OmniGen完成的有趣任务，请随时与我们讨论：2906698981@qq.com、wangyueze@tju.edu.cn、zhengliu1026@gmail.com。我们欢迎任何反馈，以帮助我们改进模型。

3. 方法论

详情请参阅我们的论文。

4. OmniGen能做什么？

OmniGen是一个统一的图像生成模型，可用于执行多种任务，包括但不限于文本到图像生成、主体驱动生成、身份保持生成、图像编辑以及图像条件生成。OmniGen不需要额外的插件或操作，它可以根据文本提示自动识别输入图像中的特征（例如所需对象、人体姿态、深度图）。 我们在inference.ipynb中展示了一些示例。而在inference_demo.ipynb中，我们展示了一个有趣的流程来生成和修改图像。

以下是OmniGen的功能示意图：

• 您可以通过OmniGen灵活地控制图像生成
• 引用表达生成：您可以输入多张图片，并使用简单、通用的语言来指代这些图片中的物体。OmniGen会自动识别每张图片中所需的物体，并基于它们生成新图像。无需额外的操作，例如图像裁剪或人脸检测。

如果您对某些功能不太满意，或者希望添加新的功能，可以尝试微调OmniGen。

5. 快速入门

使用OmniGen

通过Github安装：

git clone https://github.com/VectorSpaceLab/OmniGen.git
cd OmniGen
pip install -e .

您也可以创建一个新环境以避免冲突：

# 创建一个Python 3.10.13的conda环境（您也可以使用virtualenv）
conda create -n omnigen python=3.10.13
conda activate omnigen

# 根据您的CUDA版本安装PyTorch，例如
pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118

git clone https://github.com/VectorSpaceLab/OmniGen.git
cd OmniGen
pip install -e .

以下是一些示例：

from OmniGen import OmniGenPipeline

pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1")  
# 注意：您也可以使用本地模型路径，例如 'pipe = OmniGenPipeline.from_pretrained(your_local_model_path)'，其中your_local_model_path中的所有文件应按照https://huggingface.co/Shitao/OmniGen-v1/tree/main的结构组织

## 文本到图像
images = pipe(
    prompt="一个红衬衫的卷发男子正在喝茶。",
    height=1024,
    width=1024,
    guidance_scale=2.5,
    seed=0,
)
images[0].save("example_t2i.png")  # 保存输出的PIL图像

## 多模态到图像
# 在提示中，我们使用占位符来表示图像。图像占位符应采用<img><|image_*|></img>的格式

# 您可以在 input_images 中添加多张图片。请确保每张图片都有对应的占位符。例如，对于列表 input_images [img1_path, img2_path]，提示词中需要有两个占位符： <img><|image_1|></img>, <img><|image_2|></img>。
images = pipe(
    prompt="一个穿着黑衬衫的男人正在读书。这个男人就是 <img><|image_1|></img> 中的那位男士。",
    input_images=["./imgs/test_cases/two_man.jpg"],
    height=1024, 
    width=1024,
    guidance_scale=2.5, 
    img_guidance_scale=1.6,
    seed=0
)
images[0].save("example_ti2i.png")  # 保存输出的 PIL 图像

• 如果内存不足，可以设置 offload_model=True。如果输入多张图片时推理时间过长，可以减小 max_input_image_size。有关所需资源及高效运行 OmniGen 的方法，请参阅 docs/inference.md#requiremented-resources。
• 更多图像生成示例，请参考 inference.ipynb 和 inference_demo.ipynb。
• 关于推理参数的更多详细信息，请参阅 docs/inference.md。

使用 Diffusers

Diffusers 文档

Gradio 演示

我们在 Huggingface 上构建了一个在线演示。

若要运行本地 Gradio 演示，您需要安装 pip install gradio spaces，然后执行以下命令：

pip install gradio spaces
python app.py

使用 Google Colab

如需在 Google Colab 中使用，请执行以下命令：

!git clone https://github.com/VectorSpaceLab/OmniGen.git
%cd OmniGen
!pip install -e .
!pip install gradio spaces
!python app.py --share

6. 微调

我们提供了一个训练脚本 train.py 来微调 OmniGen。 以下是一个 LoRA 微调的示例：

accelerate launch --num_processes=1 train.py \
    --model_name_or_path Shitao/OmniGen-v1 \
    --batch_size_per_device 2 \
    --condition_dropout_prob 0.01 \
    --lr 1e-3 \
    --use_lora \
    --lora_rank 8 \
    --json_file ./toy_data/toy_subject_data.jsonl \
    --image_path ./toy_data/images \
    --max_input_length_limit 18000 \
    --keep_raw_resolution \
    --max_image_size 1024 \
    --gradient_accumulation_steps 1 \
    --ckpt_every 10 \
    --epochs 200 \
    --log_every 1 \
    --results_dir ./results/toy_finetune_lora

更多详细信息（例如全量微调）请参阅 docs/fine-tuning.md。

贡献者：

感谢所有贡献者的辛勤付出，并热烈欢迎新成员加入！

许可证

本仓库采用 MIT 许可证 许可。

引用

如果您觉得本仓库有用，请考虑给个星 ⭐ 并引用：

@article{xiao2024omnigen,
  title={Omnigen: 统一的图像生成},
  author={Xiao, Shitao and Wang, Yueze and Zhou, Junjie and Yuan, Huaying and Xing, Xingrun and Yan, Ruiran and Wang, Shuting and Huang, Tiejun and Liu, Zheng},
  journal={arXiv 预印本 arXiv:2409.11340},
  year={2024}
}

OmniGen 快速上手指南

OmniGen 是一个统一的图像生成模型，支持通过多模态指令（文本 + 图片）直接生成图像，无需额外的插件（如 ControlNet、IP-Adapter）或复杂的预处理步骤。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• Python 版本: 3.10.13 (推荐使用 Conda 管理环境)
• GPU: 支持 CUDA 的 NVIDIA 显卡 (建议显存 16GB 以上，低显存可开启模型卸载)
• 依赖库: PyTorch (需匹配您的 CUDA 版本)

国内加速建议： 如果遇到网络问题，建议使用国内镜像源安装依赖，并配置 Hugging Face 镜像。

• Pip 镜像：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...
• Hugging Face 镜像：设置环境变量 export HF_ENDPOINT=https://hf-mirror.com

2. 安装步骤

推荐使用 Conda 创建独立环境以避免依赖冲突。

第一步：创建并激活环境

conda create -n omnigen python=3.10.13
conda activate omnigen

第二步：安装 PyTorch

请根据您的 CUDA 版本选择对应的安装命令。以下为 CUDA 11.8 示例（国内用户可使用清华源加速）：

pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118
# 或使用清华源加速
# pip install torch==2.3.1+cu118 torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple --extra-index-url https://download.pytorch.org/whl/cu118

第三步：克隆项目并安装 OmniGen

git clone https://github.com/VectorSpaceLab/OmniGen.git
cd OmniGen
pip install -e .
# 国内用户建议使用：pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

以下是最简单的文生图（Text-to-Image）和多模态生图示例。模型权重会自动从 Hugging Face 下载（首次运行需保持网络通畅）。

示例代码：文生图与多模态生图

创建一个 Python 文件（如 demo.py）并运行以下代码：

from OmniGen import OmniGenPipeline

# 加载模型 (首次运行会自动下载 Shitao/OmniGen-v1)
# 如果网络受限，可先手动下载模型到本地，然后填入本地路径
pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1")  

## 1. 文生图 (Text to Image)
images = pipe(
    prompt="A curly-haired man in a red shirt is drinking tea.", 
    height=1024, 
    width=1024, 
    guidance_scale=2.5,
    seed=0,
)
images[0].save("example_t2i.png")  # 保存输出图片

## 2. 多模态生图 (Multi-modal to Image)
# 在 prompt 中使用占位符 <img><|image_*|></img> 代表输入图片
# input_images 列表中的图片顺序需与占位符编号对应
images = pipe(
    prompt="A man in a black shirt is reading a book. The man is the right man in <img><|image_1|></img>.",
    input_images=["./imgs/test_cases/two_man.jpg"], # 请替换为您本地的图片路径
    height=1024, 
    width=1024,
    guidance_scale=2.5, 
    img_guidance_scale=1.6,
    seed=0
)
images[0].save("example_ti2i.png")  # 保存输出图片

显存优化提示

如果您的显存不足导致报错（Out of Memory），可以在初始化 pipeline 或调用时添加参数 offload_model=True，或者减少 max_input_image_size。

# 显存不足时的调用示例
images = pipe(
    prompt="...",
    offload_model=True,  # 启用模型卸载以节省显存
    # 其他参数...
)