---

• Painter（CVPR 2023）——图像用图像说话：用于上下文视觉学习的通用画家模型

• SegGPT（ICCV 2023）——SegGPT：在上下文中分割一切

新闻

• 2023年4月，SegGPT的推理代码和模型已在这里公开。
• 2023年4月，我们结合SAM和SegGPT，实现了“一触百通”——只需一次点击即可完成所有图像的分割，以及“分割视频中的一切”。欢迎体验这里。
• 2023年4月，尽享SegGPT演示。
• 2023年3月，Painter的代码和模型已公开。

联系方式

• BAAI视觉团队诚聘英才，面向各层次人才，包括全职研究员、工程师及实习生。
  如果您对基础模型、视觉感知和多模态学习感兴趣，请联系王鑫龙（wangxinlong@baai.ac.cn）。

许可证

本项目的具体内容采用LICENSE许可证授权。

Painter 快速上手指南

Painter 是由北京智源人工智能研究院（BAAI）推出的视觉基础模型，旨在通过“上下文视觉学习”实现通用的图像理解与生成。本指南将帮助您快速部署并运行 Painter 模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python 版本: Python 3.8 或更高版本
• GPU: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行完整模型)，需安装 CUDA 11.1+
• 前置依赖:
  • PyTorch 1.9.0+
  • torchvision
  • timm
  • opencv-python
  • matplotlib

提示：国内用户建议使用清华或阿里镜像源加速 Python 包的安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/baaivision/Painter.git
   cd Painter
   

2. 创建虚拟环境并安装依赖

   # 创建虚拟环境
   python -m venv painter_env
   source painter_env/bin/activate  # Windows 用户使用: painter_env\Scripts\activate
   
   # 安装 PyTorch (根据实际 CUDA 版本选择，此处以 CUDA 11.8 为例)
   # 国内加速源推荐：
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   
   # 安装其他核心依赖
   pip install -r requirements.txt
   

   注：若 requirements.txt 不存在，请手动安装关键库：

   pip install timm opencv-python matplotlib
   

3. 下载预训练模型 从 Hugging Face 或项目发布的链接下载 Painter 预训练权重文件（例如 painter_vit_large.pth），并将其放置在项目根目录或指定的 checkpoints 文件夹下。

   国内用户可通过魔搭社区（ModelScope）或相关国内镜像站查找是否有加速下载链接。

基本使用

以下是一个最简单的推理示例，展示如何使用 Painter 进行上下文图像学习（In-Context Visual Learning）。假设您已准备好输入图像和提示图像。

1. 准备数据 确保您有以下图片：

   • input_image.jpg: 需要处理的目标图像。
   • prompt_image.jpg: 提供上下文的提示图像（包含掩码或标注）。

2. 运行推理脚本 在项目目录下执行以下 Python 命令：

   import torch
   from PIL import Image
   from painter_model import Painter  # 假设模型加载类已定义
   
   # 配置设备
   device = "cuda" if torch.cuda.is_available() else "cpu"
   
   # 加载模型
   model = Painter(pretrained="checkpoints/painter_vit_large.pth")
   model.to(device)
   model.eval()
   
   # 加载图像
   input_img = Image.open("input_image.jpg").convert("RGB")
   prompt_img = Image.open("prompt_image.jpg").convert("RGB")
   
   # 执行推理 (具体预处理需参考官方 demo 脚本)
   with torch.no_grad():
       output = model.inference(prompt_img, input_img)
   
   # 保存结果
   output.save("result.png")
   print("推理完成，结果已保存为 result.png")
   

注意：具体的预处理逻辑（如 Resize、Normalize）和模型加载类名请以仓库中 Painter/demo.py 或 Painter/inference.py 的实际代码为准。上述代码为通用逻辑示意。