OMG 模型研究

我们的目标是使用一个模型解决多项基础的视觉感知、视觉推理以及多模态大语言模型任务，从而最大限度地减少手工设计，一次性实现功能性和性能的最大化。

OMG-LLaVA 简介，arxiv，项目页面，Fahd Mirza 的介绍视频

我们提出了 OMG-LLaVA，这是一个新颖而优雅的框架，将强大的像素级视觉理解能力与推理能力相结合。它可以接受各种视觉和文本提示，以实现灵活的用户交互。具体来说，我们使用一种通用的分割方法作为视觉编码器，将图像信息、感知先验知识和视觉提示整合为视觉 token，输入到大语言模型中。大语言模型则负责理解用户的文本指令，并根据视觉信息生成文本响应和像素级分割结果。

OMG-LLaVA 在单个模型中实现了图像级、物体级和像素级的推理与理解，在多个基准测试上达到了与专用方法相当甚至超越其性能。与以往通过大语言模型连接各个专业模块的做法不同，我们的工作旨在对一个编码器、一个解码器和一个大语言模型进行端到端的联合训练。

OMG-Seg 简介，arxiv，项目页面，viso.ai 的报道

我们针对多种分割任务进行了研究，而这些任务传统上通常由不同的或部分统一的模型来处理。为此，我们提出了 OMG-Seg，即“一个模型即可胜任所有分割任务”的方案，包括图像语义分割、实例分割、全景分割及其视频版本，以及开放词汇设置下的分割、基于提示的交互式分割（如 SAM）和视频对象分割等。据我们所知，这是首个能够在单一模型中覆盖所有这些任务并达到足够好性能的模型。

我们证明了 OMG-Seg 这一基于 Transformer 的编码器-解码器架构，结合任务特定的查询和输出，能够支持十多种不同的分割任务，同时显著降低不同任务和数据集之间的计算和参数开销。我们还严格评估了在联合训练过程中各任务之间的相互影响和相关性。代码和模型都将公开发布。

关于 OMG-Seg 在 VALSE 大会上与其他类似 SAM 的工作的简短介绍，可参见这里，内容为中文。

最新消息 !!

• 🔥2024年9月26日，OMG-LLaVA 被 NeurIPS-2024 接收！！
• 🔥2024年6月28日，发布 OMG-LLaVA 测试代码及 7B 参数量的模型。完整代码已公开。
• 🔥2024年4月6日，更新仅用一台机器训练的模型及演示脚本。
• 🔥2024年3月18日，OMG-Seg 的训练代码发布！！采用 Object-365 实例分割预训练后性能更强！！
• 🔥2024年2月26日，OMG-Seg 被 CVPR-2024 接收！！
• 🔥2024年1月19日，模型和测试代码发布！！

OMG-LLaVA 的核心特性

$\color{#2F6EBA}{连接图像级、物体级、像素级的推理与理解}$

• 一个模型即可完成图像级、物体级和像素级的理解与推理。
• 提出了一种全新的视角，仅需一个编码器、一个解码器和一个大语言模型，即可解决多项引用分割、定位、接地和字幕生成任务。

$\color{#2F6EBA}{首个开源的通用理解与推理代码库}$

• 我们的代码库支持一次完成多种密集预测任务的联合训练。
• 首个开源的多模态理解任务代码库，涵盖训练、推理和演示功能。

OMG-Seg 的核心特性

$\color{#2F6EBA}{通用的图像、视频、开放词汇分割模型}$

• 为十多种不同的分割任务提供全新统一的解决方案：语义分割、实例分割、视频语义分割、视频实例分割、视频全景分割、开放词汇分割以及交互式分割。
• 提出了在单一模型中以极低参数量解决多种分割任务的新思路。

$\color{#2F6EBA}{性能足够好}$

• OMG-Seg 在共享架构下，于多个数据集上均能达到足够好的性能。（仅需 70M 可训练参数）

$\color{#2F6EBA}{首个开源的通用分割代码库}$

• 我们的代码库支持图像/视频/多数据集的联合训练。
• 首个包含训练、推理和演示功能的开源代码库。

$\color{#2F6EBA}{易于学术实验室复现}$

• OMG-Seg 仅需一台 32GB V100 或 40GB A100 显卡的机器即可复现，非常适合学术实验室跟进研究。

待办事项列表

• 添加更多易用教程。()
• 发布 OMG-LLaVA 模型。（已完成）
• 发布 OMG-Seg 强化版模型。（已完成）
• 发布 OMG-Seg 训练代码。（已完成）
• 支持 HuggingFace。（已完成）

如何使用本代码库

关于 OMG-Seg，请参阅 OMG_Seg_README.md。

关于 OMG-LLaVA，请参阅 OMG_LLaVA_README.md。

引用

如果您认为我们的代码库和工作对您的研究有所帮助，请考虑引用我们：

@inproceedings{OMGLLaVA,
  title={OMG-LLaVA: 桥接图像级、目标级与像素级的推理与理解},
  author={Zhang, Tao and Li, Xiangtai and Fei, Hao and Yuan, Haobo and Wu, Shengqiong and Ji, Shunping and Chen, Change Loy and Yan, Shuicheng},
  booktitle={NeurIPS},
  year={2024}
}

@inproceedings{OMGSeg,
  title={OMG-Seg: 一个模型是否足以应对所有分割任务？},
  author={Li, Xiangtai and Yuan, Haobo and Li, Wei and Ding, Henghui and Wu, Size and Zhang, Wenwei and Li, Yining and Chen, Kai and Loy, Chen Change},
  booktitle={CVPR},
  year={2024}
}

许可证

OMG-Seg 遵循 MIT 许可证 LICENSE。

OMG-LLaVA 遵循 Apache-2.0 许可证，以尊重 LLaVA 和 XTuner 的代码库。

OMG-Seg 快速上手指南

OMG-Seg 是一个通用的图像与视频分割模型，旨在用单一模型高效处理超过十种不同的分割任务（包括语义、实例、全景分割及其视频版本、开放词汇分割、交互式分割等）。该模型仅需约 70M 可训练参数，即可在多个数据集上达到优异性能。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• GPU: 至少一张显存为 32GB 的 NVIDIA V100 或 40GB 的 A100（单卡即可复现训练和推理）
• CUDA: 建议 CUDA 11.1 或更高版本
• Python: 3.8 或更高版本

前置依赖

确保已安装以下基础库：

• PyTorch (建议 1.9.0+)
• torchvision
• mmcv-full (OpenMMLab 系列依赖)
• mmdetection / mmsegmentation (根据具体任务需求)

提示：国内用户建议使用清华源或阿里源加速 Python 包和 PyTorch 的安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/lxtgh/OMG-Seg.git
   cd OMG-Seg
   

2. 创建虚拟环境并安装依赖

   conda create -n omg_seg python=3.8 -y
   conda activate omg_seg
   
   # 安装 PyTorch (以 CUDA 11.3 为例，国内用户可使用清华源)
   pip install torch==1.9.0+cu113 torchvision==0.10.0+cu113 -f https://download.pytorch.org/whl/torch_stable.html
   
   # 安装 MM 系列依赖 (推荐使用 OpenMMLab 国内镜像)
   pip install -U openmim
   mim install mmcv-full==1.5.0
   mim install mmdet==2.25.0
   mim install mmsegmentation==0.20.0
   
   # 安装项目其他依赖
   pip install -r requirements.txt
   

3. 下载预训练模型 从 HuggingFace 下载预训练权重（国内网络若受限，可手动下载后放入 checkpoints 目录）：

   # 示例：使用 huggingface-cli (需安装 huggingface_hub)
   pip install huggingface_hub
   huggingface-cli download --repo-type model LXT/OMG_Seg --local-dir ./checkpoints/omg_seg
   

   或者直接访问 HuggingFace Model Page 手动下载。

基本使用

以下是最简单的推理示例，演示如何使用 OMG-Seg 对单张图像进行分割预测。

1. 准备测试脚本

项目根目录下通常包含 demo.py 或类似的推理脚本。假设使用提供的 demo 脚本：

python demo.py \
    --config configs/omg_seg/omg_seg_r50_1x.py \
    --checkpoint checkpoints/omg_seg/latest.pth \
    --img-path examples/demo.jpg \
    --out-file output/demo_result.jpg

2. 参数说明

• --config: 模型配置文件路径，定义了架构和任务类型。
• --checkpoint: 预训练权重文件路径。
• --img-path: 输入图像路径。
• --out-file: 输出结果保存路径。

3. 运行结果

执行上述命令后，程序将加载模型并对指定图像进行分割，生成的可视化结果将保存至 output/demo_result.jpg。该结果可能包含语义掩码、实例边界或全景分割标签，具体取决于配置文件中的任务设定。

注意：详细的高级用法（如视频分割、交互式分割、多任务联合推理）请参考项目目录下的 OMG_Seg_README.md 文档。