通过下一词预测实现万物检测

Rex-Omni 是一个拥有 30 亿参数的多模态大语言模型（MLLM），它将目标检测以及广泛的其他视觉感知任务重新定义为一个简单的下一个标记预测问题。

新闻 🎉

• [2026-01-10] 现已支持指向任务微调！使用 SFT 和 GRPO 在自定义指向数据集上训练 Rex-Omni。详情请参阅微调指南。
• [2025-10-31] 我们发布了 Rex-Omni 的 AWQ 量化版本，存储空间节省了 50%。Rex-Omni-AWQ
• [2025-10-29] 微调代码现已可用。
• [2025-10-17] 评估代码和数据集现已可用。
• [2025-10-15] Rex-Omni 正式发布。

目录

• 突发新闻：我们刚刚开源了 Resophy！🎉
• 新闻 🎉
• 目录
  • 待办事项清单 📝
  • 1. 安装 ⛳️
  • 2. 快速入门：使用 Rex-Omni 进行检测
    • 初始化参数（RexOmniWrapper）
    • 推理参数（rex.inference）
  • 3. 食谱
  • 4. Rex-Omni 的应用
  • 5. Gradio 演示
    • 快速入门
    • 可用选项
  • 6. 评估
  • 7. 微调 Rex-Omni
  • 8. 许可证
  • 9. 引用

待办事项清单 📝

• 添加评估代码
• 添加微调代码
• 添加量化版 Rex-Omni

1. 安装 ⛳️

git clone https://github.com/IDEA-Research/Rex-Omni.git
cd Rex-Omni
conda create -n rexomni python=3.10 -y
conda activate rexomni
pip install torch==2.7.0 torchvision --index-url https://download.pytorch.org/whl/cu128
pip install -r requirements.txt
pip install -v -e .

测试安装

CUDA_VISIBLE_DEVICES=1 python tutorials/detection_example/detection_example.py

如果安装成功，您将在 tutorials/detection_example/test_images/cafe_visualize.jpg 找到检测结果的可视化图。

2. 快速入门：使用 Rex-Omni 进行检测

以下是一个最小示例，展示了如何使用 rex_omni 包运行目标检测。

from PIL import Image
from rex_omni import RexOmniWrapper, RexOmniVisualize

# 1) 初始化包装器（模型内部加载）
rex = RexOmniWrapper(
    model_path="IDEA-Research/Rex-Omni",   # HF 仓库或本地路径
    backend="transformers",                # 或 "vllm" 用于高吞吐量推理
    # 推理/生成控制（适用于所有后端）
    max_tokens=2048,
    temperature=0.0,
    top_p=0.05,
    top_k=1,
    repetition_penalty=1.05,
)

# 如果您使用的是 Rex-Omni 的 AWQ 量化版本，可以使用以下代码：
rex = RexOmniWrapper(
    model_path="IDEA-Research/Rex-Omni-AWQ",
    backend="vllm",
    quantization="awq",
    max_tokens=2048,
    temperature=0.0,
    top_p=0.05,
    top_k=1,
    repetition_penalty=1.05,
)

# 2) 准备输入
image = Image.open("tutorials/detection_example/test_images/cafe.jpg").convert("RGB")
categories = [
    "男人", "女人", "黄色花", "沙发", "机器人商店灯",
    "毯子", "微波炉", "笔记本电脑", "杯子", "白色椅子", "台灯",
]

# 3) 运行检测
results = rex.inference(images=image, task="detection", categories=categories)
result = results[0]

# 4) 可视化
vis = RexOmniVisualize(
    image=image,
    predictions=result["extracted_predictions"],
    font_size=20,
    draw_width=5,
    show_labels=True,
)
vis.save("tutorials/detection_example/test_images/cafe_visualize.jpg")

初始化参数 (RexOmniWrapper)

• model_path: Hugging Face 仓库 ID 或 Rexe-Omni 模型的本地检查点目录。
• backend: "transformers" 或 "vllm"。
  • transformers: 易于使用，基准延迟表现良好。
  • vllm: 高吞吐量、低延迟推理。需要安装 vllm 包并配置兼容环境。
• max_tokens: 每次输出生成的最大标记数。
• temperature: 采样温度；值越高随机性越大（0.0 表示确定性/贪婪采样）。
• top_p: 核采样参数；模型会从累积概率 ≥ top_p 的最小标记集合中进行采样。
• top_k: Top-k 采样；将采样限制在最有可能的 k 个标记内。
• repetition_penalty: 重复标记惩罚；>1.0 会抑制重复。
• 可选高级设置（通过构造包装器时的 kwargs 支持）：
  • Transformers：torch_dtype、attn_implementation、device_map、trust_remote_code 等。
  • VLLM：tokenizer_mode、limit_mm_per_prompt、max_model_len、gpu_memory_utilization、tensor_parallel_size、trust_remote_code 等。

推理参数 (rex.inference)

• images: 单张 PIL.Image.Image 对象或用于批量推理的图像列表。
• task: 可选 "detection"、"pointing"、"visual_prompting"、"keypoint"、"ocr_box"、"ocr_polygon"、"gui_grounding"、"gui_pointing" 中的一项。
• categories: 要检测或提取的类别名称/短语列表，例如 ["person", "cup"]。用于构建任务提示。
• keypoint_type: 关键点检测任务的关键点类型。选项有："person"、"hand"、"animal"。
• visual_prompt_boxes: 视觉提示任务的参考边界框。格式为绝对坐标系下的 [[x0, y0, x1, y1], ...]。

返回一个字典列表（每个输入图像对应一个字典）。每个字典包含：

• raw_output: LLM 生成的原始文本。
• extracted_predictions: 从原始输出中解析出的结构化预测结果，按类别分组。
  • 对于检测任务：{category: [{"type": "box", "coords": [x0,y0,x1,y1]}, ...], ...}
  • 对于指向任务：{category: [{"type": "point", "coords": [x0,y0]}, ...], ...}
  • 对于多边形任务：{category: [{"type": "polygon", "coords": [x0,y0, ...]}, ...], ...}
  • 对于关键点任务：结构化的 Json 数据。

提示：

• 为了在使用 VLLM 时获得最佳性能，请将 backend="vllm"，并根据您的 GPU 调整 gpu_memory_utilization 和 tensor_parallel_size。

3. 教程

我们为每项支持的任务提供了全面的教程。每个教程都包含独立的 Python 脚本和交互式的 Jupyter 笔记本。

任务	应用	演示	Python 示例	笔记本
目标检测	目标检测		code	notebook
	对象指代		code	notebook
	GUI 实体定位		code	notebook
	布局实体定位		code	notebook
指向	物体指向		code	notebook
	GUI 指向		code	notebook
	可供性指向		code	notebook
视觉提示	视觉提示		code	notebook
OCR	OCR 单词框		code	notebook
	OCR 文本行框		code	notebook
	OCR 多边形		code	notebook
关键点检测	人体关键点检测		code	notebook
	动物关键点检测		code	notebook
其他	批量推理		code

4. Rex-Omni 的应用

Rex-Omni 的统一检测框架使其能够与其他视觉模型无缝集成。

应用	描述	演示	文档
Rex-Omni + SAM	将语言驱动的目标检测与像素级精确分割相结合。Rex-Omni 检测物体 → SAM 生成精确的掩码		README
实体定位数据引擎	使用 spaCy 和 Rex-Omni，根据图像标题自动生成短语实体定位标注。		README

5. Gradio 演示

我们提供了一个交互式的 Gradio 演示，您可以通过网页界面测试 Rex-Omni 的所有功能。

快速开始

# 启动演示
CUDA_VISIBLE_DEVICES=0 python app.py --model_path IDEA-Research/Rex-Omni

# 自定义设置
CUDA_VISIBLE_DEVICES=0 python app.py \
    --model_path IDEA-Research/Rex-Omni \
    --backend vllm \
    --server_name 0.0.0.0 \
    --server_port 7890

可用选项

• --model_path: 模型路径或 HuggingFace 仓库 ID（默认值：“IDEA-Research/Rex-Omni”）
• --backend: 使用的后端 - “transformers” 或 “vllm”（默认值：“transformers”）
• --server_name: 服务器主机地址（默认值：“192.168.81.138”）
• --server_port: 服务器端口（默认值：5211）
• --temperature: 采样温度（默认值：0.0）
• --top_p: 核采样参数（默认值：0.05）
• --max_tokens: 最大生成标记数（默认值：2048）

6. 评估

更多详情请参阅 评估。

7. 微调 Rex-Omni

更多详情请参阅 微调 Rex-Omni。

8. 许可证

Rex-Omni 采用 IDEA License 1.0 许可证授权，版权所有 © IDEA。保留所有权利。本模型基于 Qwen，Qwen 采用 Qwen RESEARCH LICENSE AGREEMENT 许可证授权，版权所有 © 阿里云。保留所有权利。

9. 引用

Rex-Omni 源自一系列先前的工作。如果您感兴趣，可以查阅以下文献。

• RexThinker
• RexSeek
• ChatRex
• DINO-X
• Grounidng DINO 1.5
• T-Rex2
• T-Rex

@misc{jiang2025detectpointprediction,
      title={通过下一位置预测检测任何目标}, 
      author={Qing Jiang、Junan Huo、Xingyu Chen、Yuda Xiong、Zhaoyang Zeng、Yihao Chen、Tianhe Ren、Junzhi Yu、Lei Zhang},
      year={2025},
      eprint={2510.12798},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2510.12798}, 
}

Rex-Omni 快速上手指南

Rex-Omni 是一个 30 亿参数的多模态大语言模型（MLLM），它将目标检测及多种视觉感知任务重新定义为简单的“下一个 token 预测”问题。本指南将帮助您快速在本地部署并运行该模型。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 ≥ 16GB 以运行全精度模型，量化版可降低需求）
• CUDA 版本: 12.8 (对应 PyTorch 2.7.0)
• 依赖管理: 已安装 conda 和 git

2. 安装步骤

请依次执行以下命令来克隆代码库、创建虚拟环境并安装依赖。

# 1. 克隆仓库
git clone https://github.com/IDEA-Research/Rex-Omni.git
cd Rex-Omni

# 2. 创建并激活 Conda 环境
conda create -n rexomni python=3.10 -y
conda activate rexomni

# 3. 安装 PyTorch (指定 CUDA 12.8 版本)
pip install torch==2.7.0 torchvision --index-url https://download.pytorch.org/whl/cu128

# 4. 安装项目依赖
pip install -r requirements.txt

# 5. 以可编辑模式安装 rex_omni 包
pip install -v -e .

验证安装： 运行以下测试脚本，如果安装成功，将在 tutorials/detection_example/test_images/ 目录下生成可视化结果图 cafe_visualize.jpg。

CUDA_VISIBLE_DEVICES=1 python tutorials/detection_example/detection_example.py

3. 基本使用

以下是最小化的 Python 示例，展示如何使用 rex_omni 进行物体检测。该示例支持加载全精度模型或 AWQ 量化版本。

代码示例

from PIL import Image
from rex_omni import RexOmniWrapper, RexOmniVisualize

# 1) 初始化模型包装器
# 选项 A: 使用全精度模型 (后端可选 transformers 或 vllm)
rex = RexOmniWrapper(
    model_path="IDEA-Research/Rex-Omni",   
    backend="transformers",                # 高吞吐量场景可改为 "vllm"
    max_tokens=2048,
    temperature=0.0,
    top_p=0.05,
    top_k=1,
    repetition_penalty=1.05,
)

# 选项 B: 使用 AWQ 量化版本 (节省 50% 显存，需配合 vllm 后端)
# rex = RexOmniWrapper(
#     model_path="IDEA-Research/Rex-Omni-AWQ",
#     backend="vllm",
#     quantization="awq",
#     max_tokens=2048,
#     temperature=0.0,
#     top_p=0.05,
#     top_k=1,
#     repetition_penalty=1.05,
# )

# 2) 准备输入数据
image = Image.open("tutorials/detection_example/test_images/cafe.jpg").convert("RGB")
categories = [
    "man", "woman", "yellow flower", "sofa", "robot-shope light",
    "blanket", "microwave", "laptop", "cup", "white chair", "lamp",
]

# 3) 执行推理 (支持任务：detection, pointing, visual_prompting, keypoint, ocr_box 等)
results = rex.inference(images=image, task="detection", categories=categories)
result = results[0]

# 4) 可视化结果
vis = RexOmniVisualize(
    image=image,
    predictions=result["extracted_predictions"],
    font_size=20,
    draw_width=5,
    show_labels=True,
)
vis.save("cafe_visualize.jpg")
print("检测完成，结果已保存至 cafe_visualize.jpg")

核心参数说明

• model_path: Hugging Face 仓库 ID 或本地模型路径。
• backend:
  • "transformers": 易用，适合基线测试。
  • "vllm": 高吞吐、低延迟，适合生产环境（需额外安装 vllm）。
• task: 指定任务类型，包括 "detection" (检测), "pointing" (指点), "keypoint" (关键点), "ocr_box" (文字框) 等。
• categories: 需要检测或提取的类别名称列表。

提示: 若使用 VLLM 后端以获得最佳性能，建议根据显卡情况调整 gpu_memory_utilization 和 tensor_parallel_size 参数。